CN112365497A - 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 - Google Patents
基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 Download PDFInfo
- Publication number
- CN112365497A CN112365497A CN202011405295.2A CN202011405295A CN112365497A CN 112365497 A CN112365497 A CN 112365497A CN 202011405295 A CN202011405295 A CN 202011405295A CN 112365497 A CN112365497 A CN 112365497A
- Authority
- CN
- China
- Prior art keywords
- network
- target detection
- training
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 130
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000001094 effect on targets Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于TridentNet和Cascade‑RCNN结构的高速目标检测方法，所述方法包括获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；通过所述目标检测模型对待检测图像进行目标检测，所述系统包括与所述方法步骤对应的模块。
Description
技术领域
本发明涉及人工智能及机器学习领域，尤其涉及深度学习领域，是一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统。
背景技术
在目标检测的众多应用场景中，由于待检测目标与检测器(传感器)的距离不同，会导致同类目标的检测尺度不同，而使用同一尺度对不同大小的目标进行检测必然存在天然缺陷和低精准率，因而多尺度检测就被迫切需要。以往的检测模型虽然可以以多尺度的方式进行检测，但由于其预设模板而对不同尺寸目标的特征表达能力存在差异，比如对过大或过小尺寸的目标难以准确检测。为使模型对不同尺寸目标的“表达能力”近似，TridentNet引入了scale-aware并行结构，首次提出感受野对目标检测任务中不同尺度和大小的物体存在影响，采用了dilated convolution以得到不同感受野的特征图，并使用参数共享以保证较小的参数和计算量。
在目标检测任务中，交并比(IOU)的阈值选取对检测存在很大影响，阈值越高越容易得到高质量的样本。然而一味地追求高阈值会引发一定程度的问题：(1)样本减少引发的过拟合，(2)在训练和推理过程中使用不一样的阈值很容易导致误匹配。Cascade-RCNN是一种级联检测结构，核心就是利用不断升高的阈值以stage-by-state的方式在不同网络上训练正负样本，以让每一个stage的detector都专注于检测IOU在某一范围内的proposal，因为输出IOU普遍大于输入IOU从而不断提升检测效果。
结合TridentNet与Cascade-RCNN的优点，为获得更加准确的目标检测结果，本专利提出将两种模型结构进行结合的方法，充分利用两者的优势来解决目标检测中的多尺度问题和IOU阈值选择问题。
发明内容
为至少部分地解决上述问题，本发明提供了一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统，所述方法包括：所述方法包括：
获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
通过所述目标检测模型对待检测图像进行目标检测。
进一步地，所述从用户语音波形中提取出语音特征序列，包括：
所述获取目标检测图像的数据集，并对数据集中的图像进行增强处理，包括：
步骤A1，采用以下公式对所述数据集中图像的亮度分量进行全局亮度增强处理：
其中，Lγ(c,d)代表全局亮度调整后的亮度函数，γ代表Gamma变化系数，I(c,d)代表数据集中图像的原始亮度分量，q代表高斯函数的标准差值，π代表自然常数，exp代表指数函数，(c,d)代表数据集中图像像素点的坐标；
步骤A2，将数据集中图像的亮度分量进行全局亮度增强处理后，然后根据以下公式进行饱和度增强处理：
其中，H′代表增强后的饱和度分量，H代表数据集中图像的原始饱和度分量，ψ代表参数值，T代表光照信息的平均亮度。
进一步地，所述特征提取网络借鉴TridentNet中的scale-aware并行结构模式，结合特征金字塔网络及FPN网络的特点，分为三路学习目标的不同尺度特征，从而让目标检测模型的Trident部分对不同尺度的目标具有更好的检测效果。
进一步地，所述主干网网络为ResNet-18，所述双分支结构分别为FC-head和Conv-head，FC-head做分类网络，Conv-head做回归网络。
进一步地，所述通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型，包括：
获取增强后的数据集，并除掉冗余重复的数据；
利用现有的标注软件对数据进行准确位置和类别标注，并生成标注文件；
将标注文件与是数据集中的图片数据进行一一对应，然后将标注文件进行解析并生成txt格式的标签数据，随机将数据集切分为训练集、验证集和测试集；
使用训练集数据对目标检测模型中神经网络进行训练，在不断的迭代过程中使用验证集数据进行目标检测模型验证观察，然后将目标检测模型在测试集数据上进行测试，并分析目标检测模型的检测结果。
进一步地，所述使用训练集数据对目标检测模型中神经网络进行训练之前还包括：将训练集数据进行归一化处理，具体步骤如下：
步骤A1,根据以下公式计算训练集中样本均值和样本方差：
其中，μa代表训练集中样本数据的均值，
代表训练集中样本数据的方差，xi代表训练集中的第i个样本数据，i＝1,2,…,N；
步骤A2，根据以下公式将训练集进行归一化处理：
其中，
代表归一化后的训练集中的第i个样本数据，ε代表为极小值。
进一步地，训练神经网络时根据损失函数Loss衡量神经网络的训练程度，包括：
根据以下公式获取损失函数Loss：
Loss＝Rcls[h]+Rloc[f]
其中，Rcls[h]代表分类损失函数，Rloc[f]代表位置损失函数；
分类损失函数表示为：
其中，h(xi)代表类别后验分布的概率估计值，yi代表类别标签，Lcls代表交叉熵损失；
位置损失函数表示为：
其中，(f(xi,bi),gi)代表将图像区域xi的预测边框bi向标注的标签边框进行回归，Lloc代表边框回归损失。
进一步地，所述边框回归损失Lloc采用平滑的L1损失。
进一步地，所述通过所述目标检测模型对待检测图像进行目标检测，包括：
获取待检测的图像，采用scale-aware方式分为三路CNN进行特征提取，每一路CNN都使用Resnet18的网络支柱进行高速特征提取；
将提取的特征进行等尺寸的串联操作，获取串联后的特征；
将串联后的特征采用Resnet18的网络支柱以进行高速特征提取与处理，特征提取后分为三路子特征，对子特征设置不同的IOU值，并对三路边框回归的特征图进行级联操作，第三级级联后的分类结果和边框回归结果作为最终的目标检测结果。
进一步地，所述系统包括：
数据增强模块，用于获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
网络构建模块，用于构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
模型获取模块，用于通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
目标检测模块，用于通过所述目标检测模型对待检测图像进行目标检测。
与现有技术相比，本发明的有益效果：本发明提供了一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，所述方法包括获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；通过所述目标检测模型对待检测图像进行目标检测，设计合理且高速的多尺度检测模型，可以极大地提升目标检测的准确率与效率。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法的流程图；
图2为本发明所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测系统框图；
图3为本发明的Trident-Cascaded-RCNN神经网络结构图；
图4为测试数据原图；
图5为本发明Trident-Cascaded-RCNN双结构网络的检测结果图；
图6为Cascade-RCNN网络的检测结果图；
图7为TridentNet网络的检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～7所示，本发明解决的技术问题是，提供一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统，所述方法包括：
获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
通过所述目标检测模型对待检测图像进行目标检测。
上述技术方案的工作原理：首先获取目标检测图像的数据集，并对数据集中图像进行增强处理；然后，构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络借鉴TridentNet中的scale-aware并行结构模式，结合特征金字塔网络及FPN网络的特点，分为三路学习目标的不同尺度特征，从而让目标检测模型的Trident部分对不同尺度的目标具有更好的检测效果，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构，所述主干网网络为ResNet-18，所述双分支结构分别为FC-head和Conv-head，FC-head做分类网络，Conv-head做回归网络；其次，通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；最后，通过所述目标检测模型对待检测图像进行目标检测。
上述技术方案的有益效果：通过以上技术方案设计合理且高速的多尺度目标检测模型，可以极大地提升目标检测的准确率与效率，其中，目标检测模型包括神经网络，通过神经网络通过借鉴Faster-RCNN，依次采用FPN(Feature Proposal Network)和RPN(RegionProposal Network)网络以获得候选框的特征映射，从而使得特征提取网络能够更好的进行提取特征，进而使得目标检测模型能够更好的训练，降低了过拟合的，大幅度提升了目标检测模型的准确性和鲁棒性。
本发明提供的一个实施例中，所述获取目标检测图像的数据集，并对数据集中的图像进行增强处理，包括：
步骤A1，采用以下公式对所述数据集中图像的亮度分量进行全局亮度增强处理：
其中，Lγ(c,d)代表全局亮度调整后的亮度函数，γ代表Gamma变化系数，I(c,d)代表数据集中图像的原始亮度分量，q代表高斯函数的标准差值，π代表自然常数，exp代表指数函数，(c,d)代表数据集中图像像素点的坐标；
步骤A2，将数据集中图像的亮度分量进行全局亮度增强处理后，然后根据以下公式进行饱和度增强处理：
其中，H′代表增强后的饱和度分量，H代表数据集中图像的原始饱和度分量，ψ代表参数值，T代表光照信息的平均亮度。
上述技术方案的有益效果：通过以上技术可以对图像特征信息进行增强，通过对提高图像的亮度和饱和度能够更好的区分图像中的不同的地方，使特征信息更加敏感，更加明显，以上算法通过采用高斯函数进行亮度的调整，由于亮度随着高斯函数的标准差值的增大，图像对比度也随之增大，但是亮度值减小，为了解决这一问题，对图像也进行饱和度分量的处理，从而使得对比度进行增强，进而数据库中图像的特征信息也更加明显，便于特征提取。
本发明提供的一个实施例中，所述通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型，包括：
获取增强后的数据集，并除掉冗余重复的数据；
利用现有的标注软件对数据进行准确位置和类别标注，并生成标注文件；
将标注文件与是数据集中的图片数据进行一一对应，然后将标注文件进行解析并生成txt格式的标签数据，随机将数据集切分为训练集、验证集和测试集；
使用训练集数据对目标检测模型中神经网络进行训练，在不断的迭代过程中使用验证集数据进行目标检测模型验证观察，然后将目标检测模型在测试集数据上进行测试，并分析目标检测模型的检测结果。
以上技术方案的工作原理：首先，获取增强后的数据集，并除掉冗余的数据，其中，利用PCA主成分分析进行去除；然后，利用现有的标注软件labelimg对数据进行准确位置和类别标注，并生成标注文件；其次，将标注文件与是数据集中的图片数据进行一一对应，然后将标注文件进行解析并生成txt格式的标签数据，随机将数据集切分为训练集、验证集和测试集；最后，使用训练集数据对目标检测模型中神经网络进行训练，所述使用训练集数据对目标检测模型中神经网络进行训练之前需要通过以下步骤进行数据的归一化：步骤A1,根据以下公式计算训练集中样本均值和样本方差：
其中，μa代表训练集中样本数据的均值，
代表训练集中样本数据的方差，xi代表训练集中的第i个样本数据，i＝1,2,…,N；
步骤A2，根据以下公式将训练集进行归一化处理：
其中，
代表归一化后的训练集中的第i个样本数据，ε代表为极小值，防止分母为零时计算出错，其中，在反向梯度时还需要将归一化的数据进行重构，
其中，yi代表类别标签，ξ,β代表待学参数，为了不改变数据的分布特征，ξ,β应按照如下公式进行计算：
β＝μa；训练神经网络时根据损失函数Loss衡量神经网络的训练程度，包括：
根据以下公式获取损失函数Loss：
Loss＝Rcls[h]+Rloc[f]
其中，Rcls[h]代表分类损失函数，Rloc[f]代表位置损失函数；
分类损失函数表示为：
其中，h(xi)代表类别后验分布的概率估计值，yi代表类别标签，Lcls代表交叉熵损失；
位置损失函数表示为：
其中，(f(xi,bi),gi)代表将图像区域xi的预测边框bi向标注的标签边框进行回归，Lloc代表边框回归损失，边框回归损失Lloc采用平滑的L1损失；在不断的迭代过程中使用验证集数据进行目标检测模型验证观察，然后将目标检测模型在测试集数据上进行测试，并分析目标检测模型的检测结果，目标检测模型是基于TridentNet和Cascade-RCNN双结构网络实现的，这两部分分别记为Trident模块和Cascaded模块，Trident模块采用scale-aware并行结构模式，分为三路进行CNN特征提取，每一路CNN其backbone(骨干)都采用ResNet-18结构，以综合考虑特征提取的能力和效率问题。CNN结构采用不同卷积率的空洞卷积(dilated convolution)以得到不同感受野下的特征图。该三路分支共享权值参数，根据不同尺度的感受野对不同尺度特征进行提取，从而让模型的Trident部分对不同尺度的目标具有更好的特征提取效果。之后再进行concatenation操作，进行特征合并，以送入下一个网络模块；Cascaded模块直接对Trident模块输出的特征根据IOU阈值的不同而划分为三个子网络，第一个子网络回归后的检测框输入到第二个子网络进行框分类与回归，第二个子网络回归后的检测框输入到第三个子网络进行框分类与回归，最终第三个子网络分类和回归后的结果即为最终的网络输出结果。Cascaded模块中，三个子网络的IOU阈值根据实际尝试的情况分别设置为0.4，0.6和0.8，这样可以获得最优的平均分类与回归精度；将测试集数据也可以在TridentNet和Cascade-RCNN分别做检测，从而分析Cascade-RCNN网络、TridentNet网络以及TridentNet和Cascade-RCNN双结构的检测结果。
以上技术方案的有益效果：通过采用采用scale-aware并行结构模式，分为三路进行CNN特征提取，从而更好的高速提取有利特征，在训练网络之前对训练集数据进行归一化操作，使数据符合正太分布，从而使得损失函数能够更好的下降，从而防止过拟合，使得网络参数能够更好的拟合训练数据，从而大幅度提升目标检测模型的精度值和准确率，其中损失函数中边框回归损失采用L1损失，L1损失是基于图像比较差异，然后取绝对值，能够更好的防止在迭代过程中梯度爆炸问题，当损失降低到一定值，验证集和测试集进行验证和测试，通过打印目标检测模型的mAP进行衡量模型的好坏，以上全部为计算机自动检测识别，不需要额外的增加人工维护，从而大幅度的提高了智能化水平。
一种基于TridentNet和Cascade-RCNN结构的高速目标检测系统，所述系统包括：
数据增强模块，用于获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
网络构建模块，用于构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
模型获取模块，用于通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
目标检测模块，用于通过所述目标检测模型对待检测图像进行目标检测。
上述技术方案的工作原理：首先数据增强模块获取目标检测图像的数据集，并对数据集中图像进行增强处理；然后，网络构建模块构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络借鉴TridentNet中的scale-aware并行结构模式，结合特征金字塔网络及FPN网络的特点，分为三路学习目标的不同尺度特征，从而让目标检测模型的Trident部分对不同尺度的目标具有更好的检测效果，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构，所述主干网网络为ResNet-18，所述双分支结构分别为FC-head和Conv-head，FC-head做分类网络，Conv-head做回归网络；其次，模型获取模块通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；最后，目标检测模块通过所述目标检测模型对待检测图像进行目标检测。
上述技术方案的有益效果：通过以上技术方案设计合理且高速的多尺度目标检测模型，可以极大地提升目标检测的准确率与效率，其中，目标检测模型包括神经网络，通过神经网络通过借鉴Faster-RCNN，依次采用FPN(Feature Proposal Network)和RPN(RegionProposal Network)网络以获得候选框的特征映射，从而使得特征提取网络能够更好的进行提取特征，进而使得目标检测模型能够更好的训练，降低了过拟合的，大幅度提升了目标检测模型的准确性和鲁棒性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则范围之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于：所述方法包括：
获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
通过所述目标检测模型对待检测图像进行目标检测。
2.根据权利要求1所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述获取目标检测图像的数据集，并对数据集中的图像进行增强处理，包括：
步骤A1，采用以下公式对所述数据集中图像的亮度分量进行全局亮度增强处理：
其中，Lγ(c,d)代表全局亮度调整后的亮度函数，γ代表Gamma变化系数，I(c,d)代表数据集中图像的原始亮度分量，q代表高斯函数的标准差值，π代表自然常数，exp代表指数函数，(c,d)代表数据集中图像像素点的坐标；
步骤A2，将数据集中图像的亮度分量进行全局亮度增强处理后，然后根据以下公式进行饱和度增强处理：
其中，H′代表增强后的饱和度分量，H代表数据集中图像的原始饱和度分量，ψ代表参数值，T代表光照信息的平均亮度。
3.据权利要求1所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述特征提取网络借鉴TridentNet中的scale-aware并行结构模式，结合特征金字塔网络及FPN网络的特点，分为三路学习目标的不同尺度特征，从而让目标检测模型的Trident部分对不同尺度的目标具有更好的检测效果。
4.根据权利要求1所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述主干网网络为ResNet-18，所述双分支结构分别为FC-head和Conv-head，FC-head做分类网络，Conv-head做回归网络。
5.根据权利要求1所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型，包括：
获取增强后的数据集，并除掉冗余重复的数据；
利用现有的标注软件对数据进行准确位置和类别标注，并生成标注文件；
将标注文件与是数据集中的图片数据进行一一对应，然后将标注文件进行解析并生成txt格式的标签数据，随机将数据集切分为训练集、验证集和测试集；
使用训练集数据对目标检测模型中神经网络进行训练，在不断的迭代过程中使用验证集数据进行目标检测模型验证观察，然后将目标检测模型在测试集数据上进行测试，并分析目标检测模型的检测结果。
6.根据权利要求5所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述使用训练集数据对目标检测模型中神经网络进行训练之前还包括：将训练集数据进行归一化处理，具体步骤如下：
步骤A1,根据以下公式计算训练集中样本均值和样本方差：
其中，μa代表训练集中样本数据的均值，
代表训练集中样本数据的方差，xi代表训练集中的第i个样本数据，i＝1,2,…,N；
步骤A2，根据以下公式将训练集进行归一化处理：
其中，
代表归一化后的训练集中的第i个样本数据，ε代表为极小值。
7.根据权利要求4所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，训练神经网络时根据损失函数Loss衡量神经网络的训练程度，包括：
根据以下公式获取损失函数Loss：
Loss＝Rcls[h]+Rloc[f]
其中，Rcls[h]代表分类损失函数，Rloc[f]代表位置损失函数；
分类损失函数表示为：
其中，h(xi)代表类别后验分布的概率估计值，yi代表类别标签，Lcls代表交叉熵损失；
位置损失函数表示为：
其中，(f(xi,bi),gi)代表将图像区域xi的预测边框bi向标注的标签边框进行回归，Lloc代表边框回归损失。
8.根据权利要求7所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述边框回归损失Lloc采用平滑的L1损失。
9.根据权利要求1所述的一种基于TridentNet和Cascade-RCNN结构的高速目标检测方法，其特征在于，所述通过所述目标检测模型对待检测图像进行目标检测，包括：
获取待检测的图像，采用scale-aware方式分为三路CNN进行特征提取，每一路CNN都使用Resnet18的网络支柱进行高速特征提取；
将提取的特征进行等尺寸的串联操作，获取串联后的特征；
将串联后的特征采用Resnet18的网络支柱以进行高速特征提取与处理，特征提取后分为三路子特征，对子特征设置不同的IOU值，并对三路边框回归的特征图进行级联操作，第三级级联后的分类结果和边框回归结果作为最终的目标检测结果。
10.一种基于TridentNet和Cascade-RCNN结构的高速目标检测系统，其特征在于，所述系统包括：
数据增强模块，用于获取目标检测图像的数据集，并对所述数据集中的图像进行增强处理；
网络构建模块，用于构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络融合多个主干网络，并包括特征金字塔网络，每个所述主干网络中均融合可变形卷积网络，所述预测网络包含双分支结构；
模型获取模块，用于通过增强处理后的数据集对所述神经网络进行训练，训练过程中根据IOU阈值对目标进行判断，得到目标检测模型；
目标检测模块，用于通过所述目标检测模型对待检测图像进行目标检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011405295.2A CN112365497A (zh) | 2020-12-02 | 2020-12-02 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011405295.2A CN112365497A (zh) | 2020-12-02 | 2020-12-02 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112365497A true CN112365497A (zh) | 2021-02-12 |
Family
ID=74535914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011405295.2A Pending CN112365497A (zh) | 2020-12-02 | 2020-12-02 | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365497A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326924A (zh) * | 2021-06-07 | 2021-08-31 | 太原理工大学 | 基于深度神经网络的稀疏图像内关键目标测光定位方法 |
| CN113591617A (zh) * | 2021-07-14 | 2021-11-02 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
| CN113780193A (zh) * | 2021-09-15 | 2021-12-10 | 易采天成(郑州)信息技术有限公司 | 基于rcnn的牛群目标检测方法及设备 |
| CN113869361A (zh) * | 2021-08-20 | 2021-12-31 | 深延科技(北京)有限公司 | 模型训练方法、目标检测方法及相关装置 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115526874A (zh) * | 2022-10-08 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
| CN115931359A (zh) * | 2023-03-03 | 2023-04-07 | 西安航天动力研究所 | 一种涡轮泵轴承故障诊断方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779330A (zh) * | 2012-06-13 | 2012-11-14 | 京东方科技集团股份有限公司 | 图像增强方法、图像增强装置和显示装置 |
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN110852349A (zh) * | 2019-10-21 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、检测方法、相关设备及存储介质 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
-
2020
- 2020-12-02 CN CN202011405295.2A patent/CN112365497A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779330A (zh) * | 2012-06-13 | 2012-11-14 | 京东方科技集团股份有限公司 | 图像增强方法、图像增强装置和显示装置 |
| US20190095795A1 (en) * | 2017-03-15 | 2019-03-28 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN110852349A (zh) * | 2019-10-21 | 2020-02-28 | 上海联影智能医疗科技有限公司 | 一种图像处理方法、检测方法、相关设备及存储介质 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| 司马海峰等: "《遥感图像分类中的智能计算方法》", 31 January 2018 * |
| 杨东方等: "《数学模型在生态学的应用及研究》", 31 March 2019 * |
| 雷帮军等: "《视频目标跟踪系统分步详解》", 31 December 2015 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326924B (zh) * | 2021-06-07 | 2022-06-14 | 太原理工大学 | 基于深度神经网络的稀疏图像内关键目标测光定位方法 |
| CN113326924A (zh) * | 2021-06-07 | 2021-08-31 | 太原理工大学 | 基于深度神经网络的稀疏图像内关键目标测光定位方法 |
| CN113591617B (zh) * | 2021-07-14 | 2023-11-28 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
| CN113591617A (zh) * | 2021-07-14 | 2021-11-02 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
| CN113869361A (zh) * | 2021-08-20 | 2021-12-31 | 深延科技(北京)有限公司 | 模型训练方法、目标检测方法及相关装置 |
| CN113780193A (zh) * | 2021-09-15 | 2021-12-10 | 易采天成(郑州)信息技术有限公司 | 基于rcnn的牛群目标检测方法及设备 |
| CN113780193B (zh) * | 2021-09-15 | 2024-09-24 | 易采天成(郑州)信息技术有限公司 | 基于rcnn的牛群目标检测方法及设备 |
| CN115527059A (zh) * | 2022-08-16 | 2022-12-27 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115527059B (zh) * | 2022-08-16 | 2024-04-09 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
| CN115526874A (zh) * | 2022-10-08 | 2022-12-27 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
| CN115526874B (zh) * | 2022-10-08 | 2023-05-12 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器控制杆圆销和圆销开口销丢失检测方法 |
| CN115931359B (zh) * | 2023-03-03 | 2023-07-14 | 西安航天动力研究所 | 一种涡轮泵轴承故障诊断方法及装置 |
| CN115931359A (zh) * | 2023-03-03 | 2023-04-07 | 西安航天动力研究所 | 一种涡轮泵轴承故障诊断方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| EP3478728B1 (en) | Method and system for cell annotation with adaptive incremental learning | |
| CN106803247B (zh) | 一种基于多级筛选卷积神经网络的微血管瘤图像识别方法 | |
| WO2022012110A1 (zh) | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
| CN109919934A (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN106340016A (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
| CN110599463B (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115147363A (zh) | 一种基于深度学习算法的影像缺陷检测和分类方法及系统 | |
| CN112381806A (zh) | 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法 | |
| CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
| CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
| CN109993728B (zh) | 一种热转印胶水偏位自动检测方法和系统 | |
| CN115439654A (zh) | 动态约束下的弱监督农田地块精细化分割方法及系统 | |
| CN114078106B (zh) | 基于改进Faster R-CNN的疵点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210212 |