CN111062413B - 一种道路目标检测方法、装置、电子设备及存储介质 - Google Patents
一种道路目标检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111062413B CN111062413B CN201911086969.4A CN201911086969A CN111062413B CN 111062413 B CN111062413 B CN 111062413B CN 201911086969 A CN201911086969 A CN 201911086969A CN 111062413 B CN111062413 B CN 111062413B
- Authority
- CN
- China
- Prior art keywords
- sample image
- detection model
- target detection
- target
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 244
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 62
- 238000012795 verification Methods 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 7
- 101100379081 Emericella variicolor andC gene Proteins 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000009467 reduction Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种道路目标检测方法、装置、电子设备及存储介质，将待检测的图像输入到目标检测模型中检测道路目标，模型训练时，采用LrIoU＝‑In(rIoU)计算损失值，替代原始的对四个坐标偏移量的分别进行的损失函数计算，解决了标框不准的问题，rIoU＝0.5×(IoU+U/C)，可知rIoU的范围为大于0小于等于1，解决了当预测框和真实框没有重叠时，IoU始终为0而无法对模型优化的问题，并且，损失函数梯度随着rIoU的减小而逐渐增大，使得损失函数更加合理并加快了坐标回归的收敛速度。因此，本发明实施例提供的用于道路目标检测的模型训练过程效率较高，并且道路目标检测的准确率较高。
Description
技术领域
本发明涉及道路目标检测技术领域，尤其涉及一种道路目标检测方法、装置、电子设备及存储介质。
背景技术
目标检测是近年来机器视觉领域中最火热的方向之一，其中道路目标检测可以应用在很多的现实场景中，如无人驾驶、安防等，其包含两大任务：确定目标位置框以及对目标进行分类识别。
现有技术中基于深度学习模型的道路目标检测方法通常分为两大类，即二阶检测算法和一阶检测算法。二阶检测算法，即将检测过程划分为两个阶段，首先产生一系列的候选区域，然后对候选区域进行分类并对候选框的位置进行微调，所以其具有较高的平均精度均值(mAP，Mean Average Precision)指标。这类算法的典型代表有R-CNN算法、Fast R-CNN算法、Faster R-CNN算法。但由于二阶检测算法需多次进行回归和分类步骤，运算过程复杂，不能满足应用上的实时性要求，所以发展出了很多提高精度的改进一阶检测算法。最经典的一阶检测算法有SSD(Single Shot MultiBox Detector)算法，YOLO(You Only LookOnce)算法等，采用端到端的网络结构，大大提高了检测速度；通过采用特征金字塔结构也使得其mAP与二阶检测算法的差距越来越小。
损失函数作为模型训练的重要方向，对模型的优化也起到了不可或缺的作用。常见的分类损失函数有二元交叉熵损失、交叉熵损失等；常见的回归损失则有均方误差损失、绝对值损失即范数误差损失，其表现的是预测点与真实点的距离差，对尺度的变化异常敏感。
由于SSD网络结构内在的原因，其低层特征没有足够的语义信息，所以对小目标检测的性能差，而道路场景中存在众多的小目标行人、车辆，使得具有较高分辨率特征层的YOLOv3更适合这种场景。但是传统的YOLOv3算法和大多属检测算法一样会存在标框不准的问题，主要原因在于算法将框的四个坐标值当作独立变量来一一进行回归迭代且使用的L2范数损失函数不具有尺度不变性，易受框的尺寸大小影响。旷世科技在UnitBox中提到的交并比损失(IoU Loss)在一定程度上解决了这一问题，其将框的位置大小看作一个整体，但当预测框和真实框不重叠时，交并比的值始终为0而造成无法优化的情况；斯坦福学者最新提出的广义交并比(GIoU，Generalized Intersection over Union)很好地解决了上述交并比损失函数的缺陷，但是线性的损失函数使得其梯度大小始终恒定不变，而不能根据预测框和真实框的差距大小动态调节，不利于坐标回归的加速收敛。
综上可以看出，现有的用于道路目标检测的模型训练过程效率较低，并且道路目标检测的准确率也较低。
发明内容
本发明实施例提供了一种道路目标检测方法、装置、电子设备及存储介质，用以解决现有的用于道路目标检测的模型训练过程效率较低，并且道路目标检测的准确率也较低的问题。
本发明实施例提供了一种道路目标检测方法，所述方法包括：
针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；
根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；
根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
进一步地，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型之前，所述方法还包括：
针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
进一步地，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型之前，所述方法还包括：
对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
进一步地，所述将该样本图像和对应的标签信息输入目标检测模型之后，所述方法还包括：
基于所述目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框；
其中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
进一步地，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型包括：
所述针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
进一步地，所述将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加包括：
根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。
进一步地，所述根据每组预测框和真实框的损失值，完成对目标检测模型的训练包括：
根据每组预测框和真实框的损失值，计算总损失值；
判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
进一步地，所述目标检测模型训练完成之后，所述方法还包括：
将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；
将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；
将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
另一方面，本发明实施例提供了一种道路目标检测装置，所述装置包括：
训练模块，用于针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
检测模块，用于将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
进一步地，所述装置还包括：
标签信息生成模块，用于针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
进一步地，所述装置还包括：
样本增强模块，用于对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
进一步地，所述训练模块，还用于基于所述目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框；
其中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
进一步地，所述训练模块，具体用于所述针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
进一步地，所述训练模块，具体用于根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。
进一步地，所述训练模块，具体用于根据每组预测框和真实框的损失值，计算总损失值；判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
进一步地，所述训练模块，还用于将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种道路目标检测方法、装置、电子设备及存储介质，所述方法包括：针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
由于在本发明实施例中，将待检测的图像输入到目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标，并且在训练目标检测模型时，采用改进的交并比损失函数LrIoU＝-In(rIoU)计算损失值，替代原始的对四个坐标偏移量的分别进行的损失函数计算，解决了标框不准的问题，rIoU＝0.5×(IoU+U/C)，可知rIoU的范围为大于0小于等于1，解决了当预测框和真实框没有重叠时，IoU始终为0而无法对模型优化的问题，并且，本发明实施例提供的改进的交并比损失函数LrIoU＝-In(rIoU)，其梯度随着rIoU的减小而逐渐增大，使得损失函数更加合理并加快了坐标回归的收敛速度。因此，本发明实施例提供的用于道路目标检测的模型训练过程效率较高，并且道路目标检测的准确率较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的道路目标检测过程示意图；
图2为本发明实施例5提供的道路目标检测流程示意图；
图3为本发明实施例6提供的道路目标检测装置结构示意图；
图4为本发明实施例7提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的道路目标检测过程示意图，该过程包括以下步骤：
S101：针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别。
本发明实施例提供的模型训练方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是服务器。
电子设备中预先保存有用于训练模型的训练集，训练集中的每张样本图像存在对应的标签信息。
具体的，可以采用txt文件记录标签信息，标签信息包括目标真实框的坐标信息和类别，目标真实框的坐标信息可以用目标真实框左上角像素点和右下角像素点的坐标来表示，或者用右上角像素点和左下角像素点的坐标来表示，再或者用目标真实框四个拐点的坐标来表示。本发明实施例中的类别包括汽车，公交，人，自行车，卡车，摩托车，交通灯，交通标志等，可以为每个类别分配对应的标号，例如，汽车，公交，人，自行车，卡车，摩托车，交通灯，交通标志对应的标号分别为0，1，2，3，4，5，6，7。
另外，标签信息可以采用如下方式进行记录。
针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
具体的，txt文件的每行表示一个目标，格式为：[类别标号x y w h]，其中x表示目标真实框的中心点横坐标相对该样本图像的宽的归一化值，y表示目标真实框的中心点纵坐标相对该样本图像的高的归一化值，w表示目标真实框的宽相对该样本图像的宽的归一化值，h表示目标真实框的高相对该样本图像的高的归一化值。
电子设备将训练集中的每张样本图像和对应的标签信息输入目标检测模型，对目标检测模型进行训练。
S102：根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形。
目标检测模型接收到输入的每张样本图像后，输出目标的预测框，然后根据预测框和真实框的差异，修改模型训练的参数，这样一直迭代计算，得到最终的目标检测模型。
损失函数的作用是量化预测框和真实框的差异。在本发明实施例中，对传统的损失函数进行了改进，改进后的损失函数为LrIoU＝-In(rIoU)，根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形。
S103：根据每组预测框和真实框的损失值，完成对目标检测模型的训练。
根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，电子设备中可以保存预设的损失阈值，当每组预测框和真实框的损失值都小于预设的损失阈值时，可以认为得到的目标检测模型输出的预测框与真实框的差异很小，此时认为对目标检测模型的训练完成。
需要说明的是，为了提高对模型训练的效率，在本发明实施例中，可以采用yolov3模型前53层在ImageNet上得到的预训练权重作为模型训练初始参数，以便加快训练速度，对输入数据进行前向传播计算得到输出即预测值。
S104：将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
由于在本发明实施例中，将待检测的图像输入到目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标，并且在训练目标检测模型时，采用改进的交并比损失函数LrIoU＝-In(rIoU)计算损失值，替代原始的对四个坐标偏移量的分别进行的损失函数计算，解决了标框不准的问题，rIoU＝0.5×(IoU+U/C)，可知rIoU的范围为大于0小于等于1，解决了当预测框和真实框没有重叠时，IoU始终为0而无法对模型优化的问题，并且，本发明实施例提供的改进的交并比损失函数LrIoU＝-In(rIoU)，其梯度随着rIoU的减小而逐渐增大，使得损失函数更加合理并加快了坐标回归的收敛速度。因此，本发明实施例提供的用于道路目标检测的模型训练过程效率较高，并且道路目标检测的准确率较高。
实施例2：
为了避免样本图像过少而造成的模型过拟合现象，在上述实施例的基础上，在本发明实施例中，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型之前，所述方法还包括：
对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
在本发明实施例中，通过对训练集中的样本图像进行随机增强处理，来丰富样本图像。样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
具体的，对样本图像的尺寸进行随机增大或缩小时，裁剪尺寸范围可以是原样本图像尺寸的-0.3至0.3内的随机值。如果是正值，则表示将原图像进行缩小处理，如果是负值，则表示将原图像进行放大处理，放大后空白处的像素值可以设置为0。例如，样本图像的尺寸为100×100，裁剪尺寸随机到的值为0.1，则将样本图像每个边缘由外到内裁剪10个像素点，得到90×90的新的样本图像并加入训练集。需要说明的是，对图像进行裁剪时，每条边对应的裁剪尺寸的随机值可以相同也可以不同。
对样本图像进行随机概率水平翻转时，随机概率例如可以是0.5，也就是针对每个样本图像，有一半的概率进行水平翻转，得到新的样本图像。对样本图像的亮度、色度和对比度进行随机调整时，可以预设调整的范围，在预设调整的范围内，随机增大或缩小样本图像的亮度、色度和对比度，得到新的样本图像。
采用本发明实施例提供的方法可以丰富训练集的样本图像，从而避免样本图像过少而造成的模型过拟合现象。
另外，在本发明实施例中，电子设备可以预先保存验证集，用于对训练好的目标检测模型进行检验，也可以随机将训练集中的小部分图像作为验证集中的验证样本图像，例如随机将训练集中的10％的图像作为验证集中的验证样本图像。
实施例3：
在训练模型的过程中，需要预先确定锚框，目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框。
本发明实施例中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
在本发明实施例中，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，预先设置锚框的数量即为Kmeans聚类算法中的K值，例如，预先设置锚框的数量为9，则经过Kmeans聚类算法得到9个锚框。聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU，代替传统的欧式距离作为真实框和聚类中心框的距离，使生成的锚框不受尺度大小的影响。例如，真实框A的宽高分别为wA,hA，聚类中心框B的宽高分别为wB,hB，I＝|A∩B|＝min(wA,wB)×min(hA,hB)，U＝|A∪B|＝wA×hA+wB×hB-I。
在本发明实施例中，通过Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，相较于现有技术中的采用经验设置固定比例尺寸的锚框，可更灵活地基于当前训练集的目标特征分布生成适合的锚框，加快训练收敛速度的同时提高了标框的准确度。
实施例4：
为了降低模型训练过程中的对抗性干扰，在上述各实施例的基础上，在本发明实施例中，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型包括：
所述针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
在本发明实施例中，针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像。其中，可以预先设定该样本图像的第一权重值和该任一其他样本图像第二权重值，然后根据该样本图像的第一权重值和该任一其他样本图像第二权重值对该样本图像与该任一其他样本图像中的像素点进行加权求和，得到混合处理后的图像。较佳的，可以根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。混合处理后的图像的宽和高为该样本图像和该任一其他样本图像中较大的宽和较大的高，对于空白处的像素点，像素值可以设置为0。
在对两幅图像进行混合处理之后，还需要对两幅图像的标签信息进行合并，包括对真实框的坐标信息的合并以及类别的合并，然后将混合处理后的图像和合并后的标签信息输入到目标检测模型，对模型进行训练。
在本发明实施例中，使用混合处理后的图像作为训练模型的输入，缓解了模型训练过程中的对抗性干扰的敏感性。
实施例5：
为了使训练得到的模型更准确，在上述各实施例的基础上，在本发明实施例中，所述根据每组预测框和真实框的损失值，完成对目标检测模型的训练包括：
根据每组预测框和真实框的损失值，计算总损失值；
判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
具体的，已知真实框坐标和预测框坐标x1y1x2y2。
在本发明实施例中，每次迭代训练之后，计算当前的总损失值L，判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，其中，ε为预设的收敛阈值，可以为10-5。如果满足，可以将最后一次得到的模型作为训练完成的模型。或者是判断迭代训练次数是否达到预设的次数阈值，如果是，可以将最后一次得到的模型作为训练完成的模型。
为了进一步使确定的目标检测模型更准确，在本发明实施例中，所述目标检测模型训练完成之后，所述方法还包括：
将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；
将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个第一候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；
将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
在本发明实施例中，每次迭代训练得到目标检测模型之后，判断当次的目标检测模型的总损失值是否小于预设的损失阈值，如果是，将当次的目标检测模型作为候选目标检测模型，并继续进行迭代训练，直至相邻两次迭代训练得到的总损失值满足|Lt-Lt-1|/Lt-1≤ε，或者迭代训练次数达到预设的次数阈值，停止进行迭代训练。
然后针对每个候选目标检测模型，将验证集中的每张验证样本图像输入该候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和该候选目标检测模型输出的预测框及预测类别，确定该候选目标检测模型的平均精度均值mAP。其中，确定候选目标检测模型的平均精度均值mAP的过程属于现有技术，在此不再对该过程进行赘述。
然后在候选目标检测模型中，选取平均精度均值最高的候选目标检测模型作为训练完成的目标检测模型。
在本发明实施例中，定义了道路目标检测需要识别的目标类别，通过标注车载摄像视频解码得到的若干道路样本图像生成的对应标签文件，再进行几何变换和色彩抖动等数据增强方法扩增样本，形成待使用的道路目标检测训练集；使用mixup图像混合技术生成道路视觉相干图像及对应的合并标签信息输入模型进行训练，解决了复杂路况下目标堆叠时检测精度低的问题；提出使用改进的交并比损失函数，减小了不同尺度目标对损失函数的影响，简化了坐标回归迭代的过程，在加速迭代的同时提高了标框位置的准确性。
图2为本发明实施例提供的道路目标检测流程示意图，如图2所示，针对训练集中的每张样本图像，生成与该样本图像对应的标签文件，其中，训练集中的样本图像可以是车载摄像视频解码得到的图像。对训练集中的样本图像进行样本增强处理，生成新的样本图像，作为道路目标检测训练集中的样本图像。生成视觉相干图像并合并对应标签，具体的，针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并。采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，yolov3前向网络基于锚框输出样本图像的预测框。根据每组预测框和真实框的损失值，计算总损失值；判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成，如果都不满足，则更新模型参数。将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
实施例6：
图3为本发明实施例提供的道路目标检测装置结构示意图，该装置包括：
训练模块31，用于针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
检测模块32，用于将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
所述装置还包括：
标签信息生成模块33，用于针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
所述装置还包括：
样本增强模块34，用于对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
所述训练模块31，还用于基于所述目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框；
其中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
所述训练模块31，具体用于所述针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
所述训练模块31，具体用于根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。
所述训练模块31，具体用于根据每组预测框和真实框的损失值，计算总损失值；判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
所述训练模块31，还用于将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
实施例7：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图4所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；
根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；
根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与道路目标检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
由于在本发明实施例中，将待检测的图像输入到目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标，并且在训练目标检测模型时，采用改进的交并比损失函数LrIoU＝-In(rIoU)计算损失值，替代原始的对四个坐标偏移量的分别进行的损失函数计算，解决了标框不准的问题，rIoU＝0.5×(IoU+U/C)，可知rIoU的范围为大于0小于等于1，解决了当预测框和真实框没有重叠时，IoU始终为0而无法对模型优化的问题，并且，本发明实施例提供的改进的交并比损失函数LrIoU＝-In(rIoU)，其梯度随着rIoU的减小而逐渐增大，使得损失函数更加合理并加快了坐标回归的收敛速度。因此，本发明实施例提供的用于道路目标检测的模型训练过程效率较高，并且道路目标检测的准确率较高。
实施例8：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；
根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；
根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与道路目标检测方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
由于在本发明实施例中，将待检测的图像输入到目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标，并且在训练目标检测模型时，采用改进的交并比损失函数LrIoU＝-In(rIoU)计算损失值，替代原始的对四个坐标偏移量的分别进行的损失函数计算，解决了标框不准的问题，rIoU＝0.5×(IoU+U/C)，可知rIoU的范围为大于0小于等于1，解决了当预测框和真实框没有重叠时，IoU始终为0而无法对模型优化的问题，并且，本发明实施例提供的改进的交并比损失函数LrIoU＝-In(rIoU)，其梯度随着rIoU的减小而逐渐增大，使得损失函数更加合理并加快了坐标回归的收敛速度。因此，本发明实施例提供的用于道路目标检测的模型训练过程效率较高，并且道路目标检测的准确率较高。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (18)
1.一种道路目标检测方法，其特征在于，所述方法包括：
针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；
根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；
根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
2.如权利要求1所述的方法，其特征在于，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型之前，所述方法还包括：
针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
3.如权利要求1所述的方法，其特征在于，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型之前，所述方法还包括：
对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
4.如权利要求1所述的方法，其特征在于，所述将该样本图像和对应的标签信息输入目标检测模型之后，所述方法还包括：
基于所述目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框；
其中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
5.如权利要求1所述的方法，其特征在于，所述针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型包括：
针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
6.如权利要求5所述的方法，其特征在于，所述将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加包括：
根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。
7.如权利要求1所述的方法，其特征在于，所述根据每组预测框和真实框的损失值，完成对目标检测模型的训练包括：
根据每组预测框和真实框的损失值，计算总损失值；
判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
8.如权利要求7所述的方法，其特征在于，所述目标检测模型训练完成之后，所述方法还包括：
将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；
将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；
将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
9.一种道路目标检测装置，其特征在于，所述装置包括：
训练模块，用于针对训练集中的每张样本图像，将该样本图像和对应的标签信息输入目标检测模型；其中，该标签信息中记录有目标真实框的坐标信息和类别；根据损失函数LrIoU＝-In(rIoU)计算目标检测模型输出的每组预测框和真实框的损失值，其中，rIoU＝0.5×(IoU+U/C)，IoU＝I/U，I为预测框和真实框的交集，U为预测框和真实框的并集，C为能包围预测框和真实框的最小矩形；根据每组预测框和真实框的损失值，完成对目标检测模型的训练；
检测模块，用于将待检测的图像输入到所述目标检测模型中，基于所述目标检测模型检测出所述待检测的图像中的道路目标。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
标签信息生成模块，用于针对训练集中的每张样本图像，生成与该样本图像对应的标签信息，其中，该标签信息中记录有每个目标的类别，以及每个目标的目标真实框的中心点横坐标相对该样本图像的宽的归一化值，目标真实框的中心点纵坐标相对该样本图像的高的归一化值，目标真实框的宽相对该样本图像的宽的归一化值，目标真实框的高相对该样本图像的高的归一化值。
11.如权利要求9所述的装置，其特征在于，所述装置还包括：
样本增强模块，用于对训练集中的样本图像进行样本增强处理，生成新的样本图像；其中，所述样本增强处理包括对样本图像的尺寸进行随机增大或缩小、对样本图像进行随机概率水平翻转、对样本图像的亮度进行随机调整、对样本图像的色度进行随机调整、对样本图像的对比度进行随机调整。
12.如权利要求9所述的装置，其特征在于，所述训练模块，还用于基于所述目标检测模型计算预先确定的锚框的预测类别和偏移量，调整锚框位置，输出该样本图像的预测框；
其中，预先确定锚框的过程包括：
预先设置锚框的数量，采用Kmeans聚类算法对训练集中的样本图像的真实框进行聚类，得到目标检测模型的锚框，其中，聚类过程中真实框与聚类中心框的距离表示为d＝1-IoU。
13.如权利要求9所述的装置，其特征在于，所述训练模块，具体用于所述针对训练集中的每张样本图像，将该样本图像与训练集中的任一其他样本图像按照预设的权重进行相加，生成混合处理后的图像，并将该样本图像与该任一其他样本图像的标签信息进行合并，将混合处理后的图像和合并后的标签信息输入到目标检测模型。
14.如权利要求13所述的装置，其特征在于，所述训练模块，具体用于根据β(1.5，1.5)分布，分别确定该样本图像的第一权重值和训练集中的任一其他样本图像的第二权重值，根据所述第一权重值和第二权重值，对该样本图像和该任一其他样本图像的像素点进行相加。
15.如权利要求9所述的装置，其特征在于，所述训练模块，具体用于根据每组预测框和真实框的损失值，计算总损失值；判断相邻两次迭代训练得到的总损失值是否满足|Lt-Lt-1|/Lt-1≤ε，或者判断迭代训练次数是否达到预设的次数阈值，如果满足上述任一条件，目标检测模型训练完成；ε为预设的收敛阈值；其中，总损失函数为
式中，坐标回归采用LrIoU损失函数，置信度及类别概率采用二元交叉熵损失函数Lbce，λcoord为坐标预测的惩罚系数，λnoobj为非类别目标时的惩罚系数，S表示特征层的网格数，nA表示特征层的锚框数，则S2×nA表示图像中所有候选框数，表示第i个候选框负责检测目标，/>表示第i个候选框不负责检测目标，/>表示第i个候选框负责的目标真实框的左上角和右下角的坐标值，/>表示第i个候选框预测的左上角和右下角的坐标值，/>Ci分别表示第i个候选框负责的目标真实置信度和预测置信度，/>pi(c)分别表示第i个候选框负责的目标属于某一类别的真实概率值和预测概率值，c代表某个类别标号，classes表示类别标号集合。
16.如权利要求15所述的装置，其特征在于，所述训练模块，还用于将每次迭代训练得到的目标检测模型中，总损失值小于预设的损失阈值的目标检测模型作为候选目标检测模型；将验证集中的每张验证样本图像输入每个候选目标检测模型，根据验证集中的每张验证样本图像对应的验证标签信息和每个候选目标检测模型输出的预测框及预测类别，确定每个候选目标检测模型的平均精度均值；将平均精度均值最高的候选目标检测模型确定为训练完成的目标检测模型。
17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911086969.4A CN111062413B (zh) | 2019-11-08 | 2019-11-08 | 一种道路目标检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911086969.4A CN111062413B (zh) | 2019-11-08 | 2019-11-08 | 一种道路目标检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062413A CN111062413A (zh) | 2020-04-24 |
| CN111062413B true CN111062413B (zh) | 2024-05-07 |
Family
ID=70297899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911086969.4A Active CN111062413B (zh) | 2019-11-08 | 2019-11-08 | 一种道路目标检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062413B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591872A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 一种数据处理系统、物体检测方法及其装置 |
| CN111814820B (zh) * | 2020-05-18 | 2024-06-18 | 北京迈格威科技有限公司 | 图像处理方法及装置 |
| CN111695609B (zh) * | 2020-05-26 | 2024-06-28 | 平安科技（深圳）有限公司 | 目标物损伤程度判定方法、装置、电子设备及存储介质 |
| CN111709336B (zh) * | 2020-06-08 | 2024-04-26 | 杭州像素元科技有限公司 | 一种高速公路行人检测方法、设备及可读存储介质 |
| CN111783844B (zh) * | 2020-06-10 | 2024-05-28 | 广东正扬传感科技股份有限公司 | 基于深度学习的目标检测模型训练方法、设备及存储介质 |
| CN113935386A (zh) * | 2020-06-29 | 2022-01-14 | 魔门塔(苏州)科技有限公司 | 一种目标检测方法及装置 |
| CN112101430B (zh) * | 2020-08-28 | 2022-05-03 | 电子科技大学 | 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法 |
| CN112418212B (zh) * | 2020-08-28 | 2024-02-09 | 西安电子科技大学 | 一种基于EIoU改进的YOLOv3算法 |
| CN112052787B (zh) * | 2020-09-03 | 2021-07-30 | 腾讯科技（深圳）有限公司 | 基于人工智能的目标检测方法、装置及电子设备 |
| CN112016503B (zh) * | 2020-09-04 | 2024-01-23 | 平安国际智慧城市科技股份有限公司 | 人行道检测方法、装置、计算机设备及存储介质 |
| CN112101169B (zh) * | 2020-09-08 | 2024-04-05 | 平安科技（深圳）有限公司 | 基于注意力机制的道路图像目标检测方法及相关设备 |
| CN112199999B (zh) * | 2020-09-09 | 2024-08-20 | 浙江大华技术股份有限公司 | 道路检测方法、装置、存储介质和电子设备 |
| CN112329873B (zh) * | 2020-11-12 | 2024-09-06 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
| CN112560933A (zh) * | 2020-12-10 | 2021-03-26 | 中邮信息科技(北京)有限公司 | 一种模型训练方法、装置、电子设备和介质 |
| CN112633174B (zh) * | 2020-12-23 | 2022-08-02 | 电子科技大学 | 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质 |
| CN112749653A (zh) * | 2020-12-31 | 2021-05-04 | 平安科技（深圳）有限公司 | 行人检测方法、装置、电子设备及存储介质 |
| CN112686394A (zh) * | 2021-01-05 | 2021-04-20 | 北京三快在线科技有限公司 | 一种模型训练的方法及装置 |
| CN112906502B (zh) * | 2021-01-29 | 2023-08-01 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备以及存储介质 |
| CN112966757A (zh) * | 2021-03-11 | 2021-06-15 | 江苏禹空间科技有限公司 | 训练样本的扩展方法、装置、存储介质及设备 |
| CN113643228B (zh) * | 2021-05-26 | 2024-01-19 | 四川大学 | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 |
| CN113569194B (zh) * | 2021-06-10 | 2022-11-25 | 中国人民解放军海军工程大学 | 用于目标检测的旋转矩形框表示及回归方法 |
| CN113469025B (zh) * | 2021-06-29 | 2024-05-31 | 阿波罗智联(北京)科技有限公司 | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 |
| CN113553948A (zh) * | 2021-07-23 | 2021-10-26 | 中远海运科技(北京)有限公司 | 烟虫自动识别和计数方法、计算机可读介质 |
| CN113569968B (zh) * | 2021-07-30 | 2024-05-17 | 清华大学苏州汽车研究院（吴江） | 模型训练方法、目标检测方法、装置、设备及存储介质 |
| CN113780454B (zh) * | 2021-09-17 | 2023-10-24 | 平安科技（深圳）有限公司 | 模型训练及调用方法、装置、计算机设备、存储介质 |
| TWI789033B (zh) * | 2021-09-29 | 2023-01-01 | 瑞昱半導體股份有限公司 | 物件偵測模型訓練裝置、方法及其非暫態電腦可讀取記錄媒體 |
| CN113919421A (zh) * | 2021-09-30 | 2022-01-11 | 国网北京市电力公司 | 调整目标检测模型的方法、装置和设备 |
| CN114511697A (zh) * | 2022-01-18 | 2022-05-17 | 中国人民公安大学 | 图像检测方法、装置及系统 |
| CN114359742B (zh) * | 2022-03-21 | 2022-09-16 | 济南大学 | 一种优化小目标检测的加权损失函数计算方法 |
| CN115100492B (zh) * | 2022-08-26 | 2023-04-07 | 摩尔线程智能科技(北京)有限责任公司 | Yolov3网络训练、pcb表面缺陷检测方法及装置 |
| CN115908790B (zh) * | 2022-12-28 | 2024-07-26 | 北京斯年智驾科技有限公司 | 一种目标检测中心点偏移的检测方法、装置及电子设备 |
| CN116630716B (zh) * | 2023-06-06 | 2024-05-24 | 云途信息科技(杭州)有限公司 | 道路绿化破损识别方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295678A (zh) * | 2016-07-27 | 2017-01-04 | 北京旷视科技有限公司 | 神经网络训练与构建方法和装置以及目标检测方法和装置 |
| CN109523520A (zh) * | 2018-10-25 | 2019-03-26 | 北京大学第三医院 | 一种基于深度学习的染色体自动计数方法 |
| CN109670452A (zh) * | 2018-12-20 | 2019-04-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、电子设备和人脸检测模型 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
-
2019
- 2019-11-08 CN CN201911086969.4A patent/CN111062413B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106295678A (zh) * | 2016-07-27 | 2017-01-04 | 北京旷视科技有限公司 | 神经网络训练与构建方法和装置以及目标检测方法和装置 |
| CN109523520A (zh) * | 2018-10-25 | 2019-03-26 | 北京大学第三医院 | 一种基于深度学习的染色体自动计数方法 |
| CN109670452A (zh) * | 2018-12-20 | 2019-04-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、电子设备和人脸检测模型 |
| CN109919122A (zh) * | 2019-03-18 | 2019-06-21 | 中国石油大学(华东) | 一种基于3d人体关键点的时序行为检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Dual-Resolution U-Net: Building Extraction from Aerial Images》;Lu KK et al;《IEEE》;20181129;全文 * |
| 《大角度倾斜的车牌识别算法研究》;周文婷;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190715;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062413A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062413B (zh) | 一种道路目标检测方法、装置、电子设备及存储介质 | |
| CN110059554B (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN111310583B (zh) | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN109903310B (zh) | 目标跟踪方法、装置、计算机装置及计算机存储介质 | |
| CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
| CN112270252A (zh) | 一种改进YOLOv2模型的多车辆目标识别方法 | |
| US10318848B2 (en) | Methods for object localization and image classification | |
| WO2020151166A1 (zh) | 多目标跟踪方法、装置、计算机装置及可读存储介质 | |
| Zaghari et al. | The improvement in obstacle detection in autonomous vehicles using YOLO non-maximum suppression fuzzy algorithm | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| US20170032247A1 (en) | Media classification | |
| CN113468967A (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| Xu et al. | Automatic recognition algorithm of traffic signs based on convolution neural network | |
| CN111046787A (zh) | 一种基于改进YOLO v3模型的行人检测方法 | |
| CN113688851B (zh) | 数据标注方法和装置和精细粒度识别方法和装置 | |
| WO2022217630A1 (zh) | 一种车速确定方法、装置、设备和介质 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN111461145A (zh) | 一种基于卷积神经网络进行目标检测的方法 | |
| CN115170611A (zh) | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
| CN112819100A (zh) | 无人机平台多尺度目标检测方法和装置 | |
| Boppana et al. | Comparative analysis of single-stage yolo algorithms for vehicle detection under extreme weather conditions | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN112396086A (zh) | 使用神经网络进行可靠分类的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220812 Address after: 201805 room 2201, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai J Applicant after: Shanghai Shenlan Yitong Technology Group Co.,Ltd. Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Applicant before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230331 Address after: 200062 floors 2, 3, 21 and 22, No. 89, Yunling East Road, Putuo District, Shanghai Applicant after: Panda automobile (Shanghai) Co.,Ltd. Address before: 201805 room 2201, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai J Applicant before: Shanghai Shenlan Yitong Technology Group Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |