CN111260609A - 一种基于深度学习的烟支外观缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的烟支外观缺陷检测方法，包括如下步骤：S通过相机组件采集烟支的正面图像和反面图像；将采集到的图像进行直方图均衡化处理；对处理后的图像进行中值滤波处理；将处理后的图像按比例裁剪，建立基于图像金字塔的灰度模板，根据图像位置和方向进行校正图像位置；将校正后的上图像和下图像合并成为一张图像；将处理后的图像裁剪为三个图像；分别在烟嘴段图像、LOGO段图像和烟身段图像的背景区域生成掩模，并分别将无掩模区域作为感兴趣区域1‑3；利用感兴趣区域样本集建立模型数据集：通过模型数据集建立并优化深度学习算法模型，利用深度学习模型对烟支图像进行缺陷检测。本发明使用的深度学习模型能对缺陷准确分类，可为生产商提供信息排除机械故障和改进生产方案。

Description

一种基于深度学习的烟支外观缺陷检测方法

技术领域

本发明涉及烟支检测，尤其是一种基于深度学习的烟支外观缺陷检测方法。

背景技术

1.现有基于机器视觉技术的烟支外观在线检测系统均使用面阵CCD相机，采集的烟支端面图像为二维平面信息，无法实现端面空腔深度(三维信息)缺陷检测的问题，且现有检测系统只能实现圆周面或者端面的缺陷检测，存在功能单一的缺点。

2.现有的基于机器视觉技术的烟支外观在线检测系统对于飞沫的排除方法只能减少飞沫干扰，并不能识别出飞沫并排除干扰。现有的排除飞沫干扰的方法是在光学模组安装拍摄角度不同的两个相机，采集烟支同一个圆周面的两幅图像，对比两幅图像缺陷位置来排除飞沫干扰。但当飞沫处于两个相机视场重叠位置时，飞沫会同时出现在两个图像上从而引起误判。

3.现有基于机器视觉技术的烟支外观在线检测系统使用图像对比算法检测缺陷存在不足，由于每根烟支处于滚轮的角度位置不同，采集图像带有logo或花纹等图案的位置也会变化，使用比对算法检测带有图案的烟支容易引起误判，所以现有的比对算法不能实现带有图案烟支区域的缺陷检测。

发明内容

本发明为了解决上市技术问题是：提供一种基于深度学习的烟支外观缺陷检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的烟支外观缺陷检测方法，包括如下步骤：

S1：通过相对设置在卷烟机两侧的相机组件采集经过该段相机时，烟支的正面图像和反面图像，正面图像或反面图像由两个侧面图像组成，两个侧面图像的交集包含烟支180°圆周面区域；正面图像和反面图像的交集包含烟支360°圆周面区域；

S2：将S1中采集到的图像进行直方图均衡化处理；

S3：对S2处理后的图像进行中值滤波处理；

S4：将S3处理后的图像按高度1：1的比例裁剪为上图像和下图像，分别对两个图像进行S5和S6处理；

S5：建立基于图像金字塔的灰度模板，利用基于灰度模板的模板匹配获取烟支图像的位置和方向；

S6：根据S5的图像位置和方向进行仿射变换，校正图像位置；

S7：将校正后的上图像和下图像合并成为一张图像；

S8：按照无文字烟嘴区域、有文字烟嘴区域和烟身区域将S7处理后的图像裁剪为三个图像，分别为烟嘴段图像、LOGO段图像和烟身段图像；

S9：分别在烟嘴段图像、LOGO段图像和烟身段图像的背景区域生成掩模，烟嘴段图像无掩模区域作为感兴趣区域1，LOGO段图像无掩模区域作为感兴趣区域2，烟身段图像无掩模区域作为感兴趣区域3；

S10：利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中感兴趣区域1的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域2的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域3的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像；

S11：通过模型数据集建立并优化深度学习算法模型，

S12：利用深度学习模型对烟支图像进行缺陷检测。

进一步的，所述S11中深度学习算法模型为VGG16，分别将三个感兴趣区域的样本集带入模型进行训练。

进一步的，所述VGG16模型的训练过程如下：

①：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

②：计算相应的实际输出结果Op；在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵。

③：计算实际输出Op与相应的理想输出Yp的差；

④：按极小化误差的方法反向传播调整权值矩阵。

进一步的，所述S12中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习算法模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

进一步的，所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像卡和I/O卡，图像卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像卡电连接。

进一步的，所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的两个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理两个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息

本发明的有益效果是，本发明的一种烟支外观在线检测方法，针对现有烟支外观检测系统无法实现端面空腔深度(三维信息)缺陷检测的问题和检测功能单一的缺点。本发明使用三角测量型3D相机和三维信息图像检测烟嘴空腔深度的方法实现了烟嘴空腔深度在线检测，保障了成品烟入口感觉一致性。本发明实现烟支空腔深度、端面、圆周面的多指标外观缺陷检测。

针对现有的基于机器视觉技术的烟支外观在线检测系统对于飞沫的排除方法需要用多个相机采集两种图像或者一个相机采集两种图像，利用比对算法减少飞沫干扰。本发明使用相机组件采集一次图像，基于人工智能算法精确识别飞沫，识别率95％以上。本发明不仅降低了图像采集的要求，还提高的检测精确度。

针对现有烟支外观在线检测系统比对算法不能实现带有图案烟支区域的缺陷检测，本发明将烟支图像分为烟嘴段、LOGO段、烟身段，以三段不同图案区域基于深度学习模型建模，能实现LOGO段破损、油污、夹沫等外观缺陷检测。本发明能实现复杂图案烟支的外观缺陷检测。

此外，本发明使用的深度学习模型能对缺陷准确分类，可为生产商提供信息排除机械故障和改进生产方案。

附图说明

图1是本发明的原理框图；

图2是本发明实施例的烟支原始图像；

图3是本发明实施例的烟支校正后图像；

图4是本发明实施例的烟支感兴趣区域图像。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1-4所示的一种基于深度学习的烟支外观缺陷检测方法，包括如下步骤：

S1：通过相对设置在卷烟机两侧的相机组件采集经过该段相机时，烟支的正面图像和反面图像，正面图像或反面图像由两个侧面图像组成，两个侧面图像的交集包含烟支180°圆周面区域；正面图像和反面图像的交集包含烟支360°圆周面区域；

S2：将S1中采集到的图像进行直方图均衡化处理；

S3：对S2处理后的图像进行中值滤波处理；

S4：将S3处理后的图像按高度1：1的比例裁剪为上图像和下图像，分别对两个图像进行S5和S6处理；

S5：建立基于图像金字塔的灰度模板，利用基于灰度模板的模板匹配获取烟支图像的位置和方向；

S6：根据S5的图像位置和方向进行仿射变换，校正图像位置；

S7：将校正后的上图像和下图像合并成为一张图像；

S8：按照无文字烟嘴区域、有文字烟嘴区域和烟身区域将S7处理后的图像裁剪为三个图像，分别为烟嘴段图像、LOGO段图像和烟身段图像；

S9：分别在烟嘴段图像、LOGO段图像和烟身段图像的背景区域生成掩模，烟嘴段图像无掩模区域作为感兴趣区域1，LOGO段图像无掩模区域作为感兴趣区域2，烟身段图像无掩模区域作为感兴趣区域3；

其中：

ROI1的样本集包含：无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；

ROI2的样本集包含：无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；

ROI3的样本集包含：无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像。

S10：利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中感兴趣区域1的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域2的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域3的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像；

S11：通过模型数据集建立并优化深度学习算法模型，

S12：利用深度学习模型对烟支图像进行缺陷检测。

进一步的，所述S11中深度学习算法模型为VGG16，分别将三个感兴趣区域的样本集带入模型进行训练。

进一步的，所述VGG16模型的训练过程如下：

①：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

②：计算相应的实际输出结果Op；在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵。

③：计算实际输出Op与相应的理想输出Yp的差；

④：按极小化误差的方法反向传播调整权值矩阵。

VGG16共包含：13个卷积层(Convolutional Layer)，分别用conv3-XXX表示，3个全连接层(Fully connected Layer)，分别用FC-XXXX表示，5个池化层(Pool layer)，分别用maxpool表示。其中，卷积层和全连接层具有权重系数，因此也被称为权重层，总数目为13+3＝16。

进一步的，所述S12中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习算法模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

进一步的，所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像卡和I/O卡，图像卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像卡电连接。

进一步的，所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的两个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理两个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (6)

1.一种基于深度学习的烟支外观缺陷检测方法，其特征在于：包括如下步骤：

S1：通过相对设置在卷烟机两侧的相机组件采集经过该段相机时，烟支的正面图像和反面图像，正面图像或反面图像由两个侧面图像组成，两个侧面图像的交集包含烟支180°圆周面区域；正面图像和反面图像的交集包含烟支360°圆周面区域；

S2：将S1中采集到的图像进行直方图均衡化处理；

S3：对S2处理后的图像进行中值滤波处理；

S4：将S3处理后的图像按高度1：1的比例裁剪为上图像和下图像，分别对两个图像进行S5和S6处理；

S5：建立基于图像金字塔的灰度模板，利用基于灰度模板的模板匹配获取烟支图像的位置和方向；

S6：根据S5的图像位置和方向进行仿射变换，校正图像位置；

S7：将校正后的上图像和下图像合并成为一张图像；

S8：按照无文字烟嘴区域、有文字烟嘴区域和烟身区域将S7处理后的图像裁剪为三个图像，分别为烟嘴段图像、LOGO段图像和烟身段图像；

S9：分别在烟嘴段图像、LOGO段图像和烟身段图像的背景区域生成掩模，烟嘴段图像无掩模区域作为感兴趣区域1，LOGO段图像无掩模区域作为感兴趣区域2，烟身段图像无掩模区域作为感兴趣区域3；

S10：利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中感兴趣区域1的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域2的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中感兴趣区域3的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像；

S11：通过模型数据集建立并优化深度学习算法模型，

S12：利用深度学习模型对烟支图像进行缺陷检测。

2.如权利要求1所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述S11中深度学习算法模型为VGG16，分别将三个感兴趣区域的样本集带入模型进行训练。

3.如权利要求2所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述VGG16模型的训练过程如下：

①：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

②：计算相应的实际输出结果Op；在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算：Op＝Fn(…(F2(F1(XpW(1))W(2))…)W(n))，其中，Fn为第n层网络的计算函数，W(n)是第n层的权值矩阵。

③：计算实际输出Op与相应的理想输出Yp的差；

④：按极小化误差的方法反向传播调整权值矩阵。

4.如权利要求3所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述S12中进行的缺陷检测，具体为将机组件实时采集到的烟支图像带入ⅳ的深度学习算法模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

5.如权利要求1所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述图像处理控制模组，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像卡和I/O卡，图像卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像卡电连接。

6.如权利要求1或5所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述图像处理控制模组在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的两个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理两个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。

Images