CN103604809B - 一种图案布匹瑕疵在线视觉检测方法 - Google Patents

Abstract

本发明提供了一种织机图案布匹瑕疵的在线视觉检测方法，包括纹理基元周期精确求取，构建无瑕疵基元图像偏移序列提取图案布匹特征，可以实现织机图案布匹织布过程中的实时监控以及瑕疵停机；优化了纹理基元周期提取方案，通过极值权重分析去除干扰的极值点提高周期提取精度；配合离线对标准无瑕疵图像训练，建立在线检测过程中双层分类机制，在保证实时性的同时极大提高检测精度；完全可以满足织机图案布匹在线检测过程中实时性高、准确性高的要求。

Description

一种图案布匹瑕疵在线视觉检测方法

技术领域

本发明涉及利用机器视觉对织机在图案布匹织布过程的在线检测领域，具体是指一种应用于工业现场的、高实时性要求的织机在复杂图案布匹织布过程中出现瑕疵及时停机的图像处理方法。

背景技术

随着人们对布匹品质要求的提高，对布匹检测愈加重要，传统人工检测技术成本高、速度慢且人眼长期工作容易疲惫造成误检，极易造成出现瑕疵而织机仍旧工作的事故，造成布匹品质下降的同时也造成对现代经济市场中严格控制生产成本提高产品质量的工厂带来较大压力。织机在织布过程中智能且及时发现瑕疵并自动停机等待检修是亟需解决的一个课题。

当前对织机织布过程中瑕疵检测技术研究较多集中在对于无纺布或是斜纹布等纹理规则且纹理非常小的布匹检测领域，对于有图案或是纹理较大例如点纹、条纹等布匹检测却极少涉及。原因一方面此类布匹检测难度较大，纹理较小布匹可以通过Gabor或小波变换等频域方法消除小纹理影响进而通过设定阈值分离出瑕疵区域，而大纹理图案布匹难以消除纹理信息；另一方面图案布匹多样且变换复杂，设计对特定一种图案检测方案难以形成可以适应于其他图案的统一的检测方案。

发明内容

本发明目的在于针对较大纹理的图案布匹难以检测的现状，提供一种针对图案布匹(包括毛衣等针织物)瑕疵在线视觉检测方案，可以适应工业现场高实时性、高准确率的要求。

为达此目的，本发明的技术方案如下：分为离线训练过程和在线检测过程，对于任意一批纹理布匹，相机安装调试后只需离线对标准无瑕疵布匹训练一次便可在线检测。具体包括以下步骤：

离线训练过程：

(1)实时获取织机无瑕疵布匹图像，在织机出布口约5cm处调整相机镜头光圈、焦距等机械参数，在出布口下方安装大功率条形光源，拍摄图片，实时获取布匹图像序列。

(2)对获取的无瑕疵布匹图像预处理，通过高斯滤波去除图像干扰点；通过直方图均衡化拉伸图像，增强对比度，凸显图像纹理。

(3)布匹图像纹理基元周期精确求取

(3.1)构建图像距离累加方程，分别求取水平和竖直方向距离累加函数，分别累加并求取极小值。

(3.2)分别对水平和竖直方向所求极小值做权重分析以消除由于噪声产生的干扰毛刺的影响。首先对极小值用冒泡排序法做升序排列，计算每一点与排列后在其前的点的距离的最小值，对最小值用冒泡排序法做降序排列，由前至后权重逐渐降低，舍弃权重较低点。

(3.3)分别计算水平和竖直方向极小值间距离之差，选取出现次数最多的距离之差为此方向周期，记周期分布为m和n。

(3.4)修正周期用于检测条纹布匹，若周期m或n有一个为0或者二者相差极大，修正周期。

(4)在标准无瑕疵图像上选取m×n大小的一块作为模板图像M_m×n。对此模板图像依次偏移，可得m×n个偏移子图像序列，记为L_std。

(5)在标准无瑕疵图像上随机选取N幅基元周期大小的图像块用于特征提取。分别求取每一图像块与偏移基元序列L_std间能量之差，计算能量之差的均值以及方差，可得无瑕疵基元与标准无瑕疵图像M_m×n的N个能量均值和N个能量方差，分别记为ENY和VAR。

(6)构建分类策略，创建双层分类机制。首先第一层模糊分类，根据能量均值和能量方差的二维分布确定边界值，确定可能含有瑕疵的基元，其次第二层精确分类在线检测过程中完成。

在线检测过程：

(1)实时获取织机布匹图像，在织机出布口约5cm处拍摄图片，实时获取织机待检测布匹图像。通过高斯滤波去除图像干扰点；通过直方图均衡化拉伸图像，增强对比度，凸显图像纹理，提取竖直方向高度与基元竖直周期大小相同的一长条区域进行检测。

(2)在待检测长条区域上，自左向右依次选取大小为基元周期m×n的图像块用以检测。分别求取每块与标准模板偏移基元序列L_std间能量之差，计算能量之差的均值以及方差。

(3)第一层模糊分类，根据离线训练所得边界值判断此图像块是否可能含有瑕疵，若均无可能含有瑕疵，结束检测进入下一帧图像检测，若有图像块可能含有瑕疵，做第二层精确分类。

(4)第二层精确分类，累加待检测图像块与标准模板偏移基元序列L_std间的能量分布图，查找能量最低点，此点坐标即为待检测图像块与标准基元偏离大小。分析标准模板基元在此点偏移图像与待检测基元，通过一列待检测图像块与标准基元间差异的方差判断其是否有较高且集中能量块，若有则此基元有瑕疵，若无则此基元无瑕疵。

(5)若有瑕疵则标记出瑕疵位置，停机，若无瑕疵进入下一帧图像检测。

本发明的有益效果：本发明通过离线学习无瑕疵图像，精确求取基元周期，求取周期方法精确无误且多次检测稳定，构建标准无瑕疵图像移位循环序列作为检测工具，建立两层分类机制模糊分类和精确分类确保的判断图像块是否含有瑕疵的正确性。优选实施例，此检测方法算法实时性强，准确度高，克服了图案布匹检测难的问题，可以推广到墙纸、印刷等图案检测。

附图说明

图1本发明的整体系统构建图

图2本发明算法整体流程图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

本发明为一种图案布匹的瑕疵检测方法，检测过程分为离线训练过程和在线检测过程，智能相机安装方式如图1所示，算法整体流程图如图2所示。离线训练过程中通过精确的周期求取，标准无瑕疵基元偏移序列的构建，提取特征建立第一层模糊分类器。在线过程中分析待检测图像块与标准无瑕疵基元偏移序列的差异提取能量以及方差特征，先利用第一层分类器模糊分类，若有可能有瑕疵图像块则构建第二层精确分类器。

进一步的，离线训练过程具体实现步骤为：

步骤一、图像序列获取

(1.1)根据织机的布匹瑕疵实时在线检测精度要求，在出布口约5cm处，连续采集标准无瑕疵图像序列。

(1.2)保存所采集图像序列，作为无瑕疵标准图像用于后续的离线测试。如果条件允许，定期采集无瑕疵图像训练，可防止由于系统机械振动引起相机微小移位造成检测精度下降的影响。

步骤二、无瑕疵图像预处理

(2.1)对由织机得到的无瑕疵布匹图像序列利用高斯滤波去噪，高斯卷积模板如下：

$h=\frac{1}{16}*\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

(2.2)继而对高斯滤波后图像做直方图均衡化处理，首先计算图像中灰度级r_k出现的概率近似为：

$P_r\left(r_k\right)=\frac{n_k}{n},k=0,1,2,...,L-1$

n是图像中像素的总和，n_k是灰度级为r_k的像素个数，L为图像中可能的灰度级总数。输出灰度级s_k为：

$s_k=T\left(r_k\right)=\underset{i=0}{\overset{k}{\Σ}}{P}_r\left(r_j\right)=\underset{j=0}{\overset{k}{\Σ}}\frac{n_j}{n},k=0,1,2,...,L-1$

通过上式将输入图像中灰度级为r_k的各像素映射到输出图像中灰度级为s_k的对应像素。

步骤三、精确提取纹理基元周期

(3.1)记标准无瑕疵图像为[f(i，j)]，其中i(1≤i≤p)，j(1≤j≤q)分别为行和列坐标，求取标准无瑕疵图像的每行的距离函数：

$\mathrm{\λ}{1}_i\left(\mathrm{\δ}\right)=\underset{j=1}{\overset{q-\mathrm{\δ}}{\Σ}}{\[f(i,j)-f(i,j+\mathrm{\δ})\]}^2$

其中：δ为像素移动距离，λ1_i(δ)的值可以随着δ从1到q-δ依次递增而顺序计算。

将每一行距离累加函数累加，得整幅图像的行距离累加函数为：

$\mathrm{\λ}1\left(\mathrm{\δ}\right)=\underset{i=1}{\overset{p}{\Σ}}\mathrm{\λ}{1}_i=\underset{i=1}{\overset{p}{\Σ}}\underset{j=1}{\overset{q-\mathrm{\δ}}{\Σ}}{\[g(i,j)-g(i,j+\mathrm{\δ})\]}^2$

同样方法得列距离累加函数为：

$\mathrm{\λ}2\left(\mathrm{\δ}\right)=\underset{j=1}{\overset{q}{\Σ}}\mathrm{\λ}{2}_i=\underset{j=1}{\overset{q}{\Σ}}\underset{i=1}{\overset{p-\mathrm{\δ}}{\Σ}}{\[g(i,j)-g(i+\mathrm{\δ},j)\]}^2$

分别计算行距离累加函数的极小值点，记行距离累加函数的N个极小值点分别为P₁，P₂，...，P_N，同样方法应用与列距离累加函数。

(3.2)极值权重分析

首先用冒泡排序法对行距离累加函数的N个极小值点P₁，P₂，...，P_N升序排列，记排列后序列Q为Q₁，Q₂，...，Q_N。

然后对于Q_j计算其与每一个Q_i的距离，其中Q_i在升序排列后序列Q中比Q_j先出现即1≤i≤j，记Q_i所求距离的最小值为D_i，可得距离最小值序列D为D₁，D₂，...，D_N，此距离即为此极小值点权重。

最后对D_i降序排列，排列后极值点对应顺序即为其权重降序排列表，舍弃权重相对较小极值点。

同样方法应用与列距离累加函数。

(3.3)计算权重分析后行距离累加函数保留的极小值点间距离之差，选取出现次数最多的距离之差为水平纹理基元周期，记为m；同样方法应用与列距离累加函数，得竖直纹理基元周期，记为n。

(3.4)周期修正

若m＝0或者m＜n/5，令m＝n；同样若n＝0或者n＜m/5，令n＝m。

步骤四、构建标准无瑕疵基元序列

(4.1)在标准无瑕疵图像上选取与基元周期同大小的一块作为模板图像，记无瑕疵基元为M_m×n＝[f(c，d)]。

(4.2)将无瑕疵基元M_m×n依次偏移，可得到m×n个平移后标准无瑕疵基元的基元簇。

对于

记 $M_{1n}=\left[\begin{array}{cccc}f(1,n)& f(1,1)& \mathrm{...}& f(1,n-1)\\ f(2,n)& f(2,1)& \mathrm{...}& f(2,n-1)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ f(m,n)& f(m,1)& \mathrm{...}& f(m,n-1)\end{array}\right],...,M_{22}=\left[\begin{array}{cccc}f(2,2)& \mathrm{...}& f(2,n)& f(2,1)\\ .& & .& .\\ .& & .& .\\ .& & .& .\\ f(m,2)& \mathrm{...}& f(m,n)& f(m,1)\\ f(1,2)& \mathrm{...}& f(1,n)& f(1,1)\end{array}\right],...,$ $M_{mn}=\left[\begin{array}{cccc}f(m,n)& f(m,1)& \mathrm{...}& f(m,n-1)\\ f(1,n)& f(1,1)& \mathrm{...}& f(1,n-1)\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ f(m-1,n)& f(m-1,1)& \mathrm{...}& f(m-1,n-1)\end{array}\right]$

保存此m×n个图像序列至L_std，用作特征提取工具。

步骤五、无瑕疵基元图像特征提取

(5.1)在标准无瑕疵图像上随机选取N(N＞100)个与基元周期同大小的图像块用以特征提取。

(5.2)计算随机选取的每一个图像块与m×n个标准无瑕疵基元偏移图像之间的能量，求取此每一个图像块与基元簇所得能量的均值和能量的方差，N个图像块可得N个能量均值和N个能量方差，分别记为ENY_n和VAR_n

步骤六、构建模糊分类机制

创建双层分类机制中的第一层模糊分类，根据能量均值和能量方差的二维分布确定边界值，确定可能含有瑕疵的基元。边界值求取如下：

T11＝(1-λ)*min(ENY_n)，T12＝(1+λ)*max(ENY_n)

T21＝(1-λ)*min(VAR_n)，722＝(1+λ)*max(VAR_n)

其中T11、T12、T21和T22分别代表二维分布中能量下限、能量上限、方差下线和方差上限，λ为限定系数。

进一步的，在线过程具体实现步骤为：

步骤一、检测图像获取并预处理

(1.1)实时获取织机布匹图像，在织机出布口约5cm处拍摄图片，实时获取织机待检测布匹图像。

(1.2)预处理过程，对由织机得到的无瑕疵布匹图像序列利用高斯滤波去噪，高斯卷积模板如下：

$h=\frac{1}{16}*\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

继而对高斯滤波后图像做直方图均衡化处理，增加对比度。

(1.3)提取其中宽度大于基元竖直周期n的一长条区域作为瑕疵检测区域。

步骤二、特征提取

(2.1)在待检测长条区域上，自左向右依次选取与基元周期同大小的图像块序列用以检测，记M_i ^r为第i个图像块，1≤i≤NUM，NUM为可分图像块数目。

(2.2)求取M_i ^r与标准模板偏移基元序列L_std间能量之差，记标准模板偏移基元序列L_std第(a，b)个元素为M_ab＝[f_ab(c，d)]，待检测基元为M^r _i＝[f_i ^r(c，d)]，其中m和n为基元水平和竖直周期，f_ab(c，d)和f_i ^r(c，d)为基元中元素，1≤c≤m，1≤d≤n。则两个基元间的能量记为：

其中N＝m×n

对每一待检测基元M^r _i均可得m×n个能量值。

则此待检测基元与标准模板偏移基元序列的能量均值为：

$u_i=\underset{a=1}{\overset{a=m}{\Σ}}\underset{b=1}{\overset{b=n}{\Σ}}{u}_i(a,b)/N$

此待检测基元与标准模板偏移基元序列的能量方差为：

$v_i=\underset{a=1}{\overset{a=m}{\Σ}}\underset{b=1}{\overset{b=n}{\Σ}}{\left(u_i\right(a,b)-u_i)}^2/N$

步骤三、分类机制之第一层模糊分类

判断步骤二所得u_i和v_i是否均在训练所提取特征的二维分布空间内。

若T11≤u_i≤T12且T21≤v_i≤T22，对任意i均成立则所检测基元序列均无瑕疵。否则所检测基元序列可能有瑕疵。

记u＝[u₁，u₂，...，u_num]，v＝[v₁，v₂，...，v_num]，则可能含有瑕疵基元索引为：

Logic1＝u≤T11||u≥T12||v≤T21||v≥T22

若sum(Logic1)＝0，说明所检测基元序列均无瑕疵，返回步骤一获取下一帧图像检测。

若sum(Logic1)≠0，说明所检测基元序列存在瑕疵，继续步骤四做精确分类。

步骤四、分类机制之第二层精确分类

(4.1)计算步骤二中所得待检测长条区域中所有块与标准模板偏移基元序列L_std中每一元素所得能量矩阵u_i(a，b)之和，得大小为m×n的长条区域能量矩阵U：

$U=\underset{i=1}{\overset{num}{\Σ}}{u}_i(a,b)$

(4.2)求取矩阵U中最小值所在坐标(x₀，y₀)，则(x₀-1，y₀-1)便是待检测基元与标准基元位置偏移量，即M^r与纹理相同，第i个待检测基元M_i ^r与间差异能进一步反应M_i ^r是否为有瑕疵。

第i个待检测基元M_i ^r与间差异矩阵DIF_i以及DIF_i中所有元素方差值VAR_i为：

${\mathrm{DIF}}_i=abs({M_i}^r-M_{(x_0-1)(y_0-1)}),{\mathrm{VAR}}_i=\underset{c=1}{\overset{m}{\Σ}}\underset{d=1}{\overset{n}{\Σ}}\left({\mathrm{DIF}}_i\right(c,d)-u_i(a,b\left)\right)$

记方差值序列VAR＝[VAR₁，VAR₂，...，VAR_num]，求取双向差分得VAR_differ，比较VAR_differ与其均值关系得：

Logic2＝VAR_differ＞2*mean(VAR_differ)

步骤五、最终判断

记Logic＝Logic1&Logic2，若sum(Logic)≠0，则存在瑕疵，标记出瑕疵区域，停机报警；否则进入步骤一检测下一帧图像。

Claims (4)

1.一种图案布匹瑕疵的在线视觉检测方法，其特征是，通过距离叠加函数以及极值权重分析，精确求取图案布匹纹理基元周期；提取标准纹理基元，并创建无瑕疵基元偏移图像簇；最后提取与待检测图像块间能量信息，依此构建双层分类机制用以决策是否含有瑕疵；具体包括以下几个步骤：

(1)离线学习过程中纹理基元周期精确求取，包括距离叠加函数求取以及极值权重分析；具体有以下步骤：

第一步、计算行和列的距离累加函数；

记标准无瑕疵图像为[f(i，j)]，其中i(1≤i≤p)，j(1≤j≤q)分别为行和列坐标，求取标准无瑕疵图像的每行的距离函数：将每一行距离累加函数累加，得整幅图像的行距离累加函数为：

其中，δ为像素移动距离，

同样方法得出列距离累加函数为：

然后分别计算行距离累加函数的极小值点，记行距离累加函数的N个极小值点分别为P₁，P₂，...，P_N；

第二步、极值权重分析

首先用冒泡排序法对行距离累加函数的N个极小值点P₁，P₂，...，P_N升序排列，记排列后序列Q为Q₁，Q₂，...，Q_N；

然后对于Q_j计算其与每一个Q_i的距离，其中Q_i在升序排列后序列Q中比Q_j先出现即1≤i≤j，记Q_i所求距离的最小值为D_i，可得距离最小值序列D为D₁，D₂，...，D_N，此距离即为此极小值点权重；

最后对D_i降序排列，排列后极值点对应顺序即为其权重降序排列表，舍弃权重相对较小极值点；

第三步、计算权重分析后行距离累加函数保留的极小值点间距离之差，选取出现次数最多的距离之差为水平纹理基元周期，记为m；同样方法应用于列距离累加函数，得竖直纹理基元周期，记为n；

第四步、比较水平以及竖直周期关系，修正周期；

(2)离线学习过程中创建标准无瑕疵基元偏移图像簇L_std，并提取能量以及方差信息构建第一层分类模糊分类器；

(3)在线检测过程中提取待检测基元特征，用模糊分类器分类；

(4)在线检测过程中构建精确分类器，确定最终检测结果。

2.根据权利要求1所述一种图案布匹瑕疵的在线视觉检测方法，其特征是： 所述步骤(2)中模糊分类器构建，包括以下步骤：

第一步、首先在标准无瑕疵图像上选取基元周期大小的一块作为模板图像，记无瑕疵基元为M_m×n＝[f(c，d)]，将此无瑕疵基元M_m×n依次偏移，可得到m×n个平移后标准无瑕疵基元的基元簇，保存此m×n个图像序列至L_std，用作特征提取工具；

第二步、计算随机选取的每一个图像块与m×n个标准无瑕疵基元偏移图像之间的能量，求取此每一个图像块与基元簇所得能量的均值和能量的方差，N个图像块可得N个能量均值和N个能量方差，分别记为ENY_n和VAR_n；

第三步、根据能量均值和能量方差的二维分布确定边界值，确定可能含有瑕疵的基元，边界值求取如下：

T11＝(1-λ)*min(ENY_n)，T12＝(1+λ)*max(ENY_n)

T21＝(1-λ)*min(VAR_n)，T22＝(1+λ)*max(VAR_n)

其中T11、T12、T21和T22分别代表二维分布中能量下限、能量上限、方差下限和方差上限，λ为限定系数。

3.根据权利要求1所述一种图案布匹瑕疵的在线视觉检测方法，其特征是：所述步骤(3)中在线检测提取待检测基元特征并用模糊分类器分类，包括以下步骤：

第一步、提取待检测基元特征，在待检测长条区域上，自左向右依次选取基元周期大小的图像块序列用以检测，记M_i ^r为第i个图像块，1≤i≤NUM，NUM为可分图像块数目；求取M_i ^r与标准模板偏移基元序列L_std间能量之差，记标准模板偏移基元序列L_std第(a，b)个元素为M_ab＝[f_ab(c，d)]，待检测基元为M^r _i＝[f_i ^r(c，d)]，其中m和n为基元水平和竖直周期，f_ab(c，d)和f_i ^r(c，d)为基元中元素，1≤c≤m，1≤d≤n，则两个基元间的能量记为：

其中N＝m×n

对每一待检测基元M^r _i均可得m×n个能量值；

则此待检测基元与标准模板偏移基元序列的能量均值为：

此待检测基元与标准模板偏移基元序列的能量方差为：

第二步、判断上步所得u_i和v_i是否均在训练所提取特征的二维分布空间内，若T11≤u_i≤T12且T21≤v_i≤T22，对任意i均成立则所检测基元序列均无瑕疵，否则所检测基元序列可能有瑕疵；记u＝[u₁，u₂，...，u_num]，v＝[v₁，v₂，...，v_num]，则可能含有瑕疵基元索引为：Logic1＝u≤T11||u≥T12||v≤T21||v≥T22；

若sum(Logic1)＝0，说明所检测基元序列均无瑕疵，返回步骤一获取下一帧图像检测，若sum(Logic1)≠0，说明所检测基元序列存在瑕疵，继续步骤(4)做精确分类。

4.根据权利要求3所述一种图案布匹瑕疵的在线视觉检测方法，其特征是：所述步骤(4)中构建精确分类器，包括以下步骤：

第一步、计算预处理后提取的待检测长条区域中所有块与标准模板偏移基元序列L_std中每一元素所得能量矩阵u_i(a，b)之和，得大小为m×n的长条区域能量矩阵U：

第二步、求取矩阵U中最小值所在坐标(x₀，y₀)，则(x₀-1，y₀-1)便是待检测基元与标准基元位置偏移量，即M^r与纹理相同，第i个待检测基元M_i ^r与间差异能进一步反应M_i ^r是否为有瑕疵；第i个待检测基元M_i ^r与间差异矩阵DIF_i以及DIF_i中所有元素方差值VAR_i为：

记方差值序列VAR＝[VAR₁，VAR₂，...，VAR_num]，求取双向差分得VAR_differ，比较VAR_differ与其均值关系得：Logic2＝VAR_differ＞2*mean(VAR_differ)；

由第一层模糊分类得：Logic1＝u≤T11||u≥T12||v≤T21||v≥T22

记Logic＝Logic1&Logic2，若sum(Logic)≠0，则存在瑕疵，标记出瑕疵区域，停机报警；否则进入步骤一检测下一帧图像。