CN110334752B - 一种基于梯形卷积的不规则形状物体检测方法 - Google Patents

Abstract

本发明提供一种基于梯形卷积的不规则形状物体检测方法，包括：1)先提取输入图像的特征谱；2)利用候选区域网络RPN得到初步的矩形候选区域；3)将矩形候选区域与输入图像的特征谱结合，得到输入图像中矩形候选区域特征后进入形边框调整步骤；4)梯形边框调整步骤：将矩形候选区域特征f₁输入神经网络得到6个输出，分别代表区域中心点偏移量、宽高偏移量以及纵向两条边界与水平线的夹角；5)将矩形候选区域特征f₁变换为梯形卷积特征谱f₂：6)将梯形卷积特征谱f₂作为检测步骤的输入特征来完成对输入图像的检测。本发明能够减少无关特征干扰，提高检测精度；梯形卷积引入参数较少，易于取得良好效果。

Description

一种基于梯形卷积的不规则形状物体检测方法

技术领域

本发明涉及不规则形状物体检测领域，主要通过改变卷积核形状，提高检测精度的同时使Bounding Box更贴合目标。

背景技术

在目标检测领域，物体形状的不规则性是制约检测正确率的一个重要因素。传统两阶段检测方法通过“产生候选区域”和“识别区域内目标”实现，候选区域采用矩形框，在不规则形状物体的检测中，矩形框标定完整物体的同时会包含大量的不相关区域，这在第二阶段目标识别中会引入大量的不相关特征，影响检测的精准度，同时也无法给出将目标紧致标定的边框(Bounding Box)。可变形卷积是这种情况的一种解决方案，在传统卷积的基础上增加了偏移向量，但是涉及向量参数过多，训练难度较高。

发明内容

本发明所要解决的技术问题是，提供一种增加少数几个参数提高Bounding Box的灵活性，使之更加贴合实际的不规则形状物体的特征检测方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于梯形卷积的不规则形状物体检测方法，通过增加四边形的两个角度作为参数进行训练，得到更贴合目标的边界框，后续处理中使用更紧致边界框里的特征谱，具体包括以下步骤：

1)先提取输入图像的特征谱；

2)利用候选区域网络RPN得到初步的矩形候选区域；

3)将矩形候选区域与输入图像的特征谱结合，得到输入图像中矩形候选区域特征后进入形边框调整步骤；

4)梯形边框调整步骤：将矩形候选区域特征f₁输入神经网络得到6个输出，分别代表区域中心点偏移量、宽高偏移量以及纵向两条边界与水平线的夹角，用符号代替表示为向量：

5)将矩形候选区域特征f₁变换为梯形卷积特征谱f₂：

坐标P表示变换前矩形候选区域坐标P＝(x_p,y_p)，R卷积核，p_n为卷积核R中的点，w(p_n)为点p_n对应的卷积核的值，P'为变换后的坐标；

6)将梯形卷积特征谱f₂作为检测步骤的输入特征来完成对输入图像的检测。

本发明的有益效果是，四边形更紧致边界框里的特征谱，能够减少无关特征干扰，提高检测精度；相对于没有约束的自由变换而言，梯形卷积引入参数较少，更容易训练，易于取得良好效果。输入为神经网络提取出的特征谱，输出变换后特征谱的大小与输入一致，因此可以在传统的网络上增加梯形卷积模块，帮助改善效果。

附图说明

图1为本发明流程图。

图2为实施例示意图。

具体实施方式

本发明增加卷积分支——梯形卷积，得到6个调整参数，对主干卷积网络的候选区域进行调整，整体流程图如图1所示。

本发明主要包含基于RPN的区域提案部分和调整边框部分，技术方案如下所示：

A、通过卷积网络提取输入图像的特征。该部分卷积网络使用卷积、Relu和池化Pooling的组合提取图像的特征谱Feature map。

B、利用现有的RPN网络生成候选区域。在这个模块里通过Softmax判断区域是属于前景或者背景，被判断为前景的部分通过边框Bounding Box回归进行微调，得到初步的候选区域。

C、将上一步生成的候选区域与特征谱结合，得到每一个区域对应的特征，将之依次输入至神经网络产生6个预测参数，用符号代替表示为向量：

Δx、Δy分别表示梯形边框相对于矩形候选区域中心点的横、纵坐标偏移量，Δw、Δh表示梯形边框相对于矩形候选区域宽、高偏移量，θ₁、θ₂表示梯形边框纵向左、右两条边界与水平线的夹角；根据梯形边框变换参数

将矩形候选区域调整为上下两底平行，两腰角度为θ₁、θ₂的梯形边框；通过这些调整参数，矩形Bounding Box可以灵活表示为梯形的形式，上下两底保证平行，两腰的角度由两个参数θ₁和θ₂来确定。特殊情况下梯形卷积可变换为平行四边形卷积(θ₁＝θ₂)或者常规的矩形框卷积(θ₁＝θ₂＝90°)。变换示意图如图2。神经网络结构不限，在本实施例中采用卷积+ReLU激活+卷积+ReLU激活+全连接层，最后一层全连接层输出为上述6个所需参数即可。梯形框超出图像的部分的点的值设置为0即可。

D、根据步骤C中调整参数确定四边形形状，将原候选区域Region Proposal中的特征用变换后四边形内对应点的特征代替，进行常规卷积操作，此时已经从传统卷积方法变成了梯形卷积。

D1、假设变换之前Region Proposal的大小为w×h，中心点坐标为(x,y)。则可以得到对应的变换之后对应的区域中心为(x+Δx,y+Δy)，下底宽度为w+Δw，高度为h+Δh。

D2、设调整之前某点坐标P为P＝(x_p,y_p)，则变换之后的坐标P'可以表示为：P'＝(x_p',y_p')；

具体变换公式如式1、2所示：

D3、设输入区域对应的特征谱为f₁，变换之后对应的特征谱为f₂，卷积核用R表示，则变换之后的卷积如式3所示：

R为常规的3×3卷积核，由于变换之后的点坐标大多数为小数，采用双线性插值获得对应的值。令Q＝P'-p_n，则双线性插值公式如式4、5所示：

G(q,Q)＝max(0,1-|q_x-Q_x|)·max(0,1-|q_y-Q_y|) (式4)

其中，q表示矩形候选区域特征f₁中所有点；q_x、Q_x、q_y、Q_y分别表示点q和Q的横纵坐标。

梯形卷积后的特征谱f₂如式6所示：

梯形卷积的反向传播公式可以由步骤D3中的公式推出，如式7所示：

使用式7可以在神经网络中反向传播训练梯形卷积，通过预测几个变换参数得到更贴合不规则形状物体的边界框。

E、变换后的Feature map和传统方式产生的结构一致，后续采用传统方式的池化RoI Pooling、卷积、全连接等方式检测得到对应区域的类别。

Claims (2)

1.一种基于梯形卷积的不规则形状物体检测方法，其特征在于，包括以下步骤：

1)先提取输入图像的特征谱；

2)利用候选区域网络RPN得到初步的矩形候选区域；

3)将矩形候选区域与输入图像的特征谱结合，得到输入图像中矩形候选区域特征后进入形边框调整步骤；

4)梯形边框调整步骤：将矩形候选区域特征f₁输入神经网络得到6个输出，作为梯形边框变换参数

Δx、Δy分别表示梯形边框相对于矩形候选区域中心点的横、纵坐标偏移量，Δw、Δh表示梯形边框相对于矩形候选区域宽、高偏移量，θ₁、θ₂表示梯形边框纵向左、右两条边界与水平线的夹角；根据梯形边框变换参数

将矩形候选区域调整为上下两底平行，两腰角度为θ₁、θ₂的梯形边框；

5)将矩形候选区域特征f₁变换为梯形卷积特征谱f₂：

坐标P表示变换前矩形候选区域内任一点坐标P＝(x_p,y_p)，R卷积核，p_n为卷积核R中的点，w(p_n)为点p_n对应的卷积核的值，P'为变换后的坐标，P'＝(x_p',y_p')，

(x,y)为变换前矩形候选区域中心点坐标；其中，

Q＝P'-p_n，函数G(q,Q)＝max(0,1-|q_x-Q_x|)·max(0,1-|q_y-Q_y|)，q表示矩形候选区域特征f₁中所有点；q_x、Q_x、q_y、Q_y分别表示点q和Q的横纵坐标；

6)将梯形卷积特征谱f₂作为检测步骤的输入特征来完成对输入图像的检测。

2.如权利要求1所述方法，其特征在于，步骤4)所述神经网络的反向传播式为：

Images