CN102236925B - 大张检查机机检数据离线二次检测核查的系统及方法 - Google Patents

Abstract

本发明涉及大张检查机机检数据离线二次检测核查的系统及方法，包括中心数据库、图像服务器、二次核查工作站以及小张核查人工判废系统、显示主站和检测从站；检测从站包括正面检测从站和背面检测从站；二次核查工作站用于接收显示主站发送的进行错误分级，并把错误分级结果送入显示主站；显示主站用于将接收到的信息以及错误分级结果上传，小张核查人工判废系统用于下载错误分级结果和缺陷图像，并进行比较分析输出人工判废结果并将人工判废结果上传至中心数据库待导出使用。本发明解决了现有人民币大张产品质量检测系统误废数量较多的技术问题，本发明具有简化生产工序，加快检查速度，节省生产资源的优点。

Description

大张检查机机检数据离线二次检测核查的系统及方法

技术领域

本发明涉及一种大张检查机机检数据二次检测核查的系统及方法。

技术背景

现有人民币印刷产品质量检测系统对实时性要求较高，因此要求实时检测的算法复杂度不能太高。简单高效的算法往往会影响检测结果的精准性，因此误废数量较多。

发明内容

为了解决现有人民币大张产品质量检测系统误废数量较多的技术问题，本发明提出了一种大张检查机机检数据二次检测核查的系统及方法。

本发明的技术解决方案是：

一种大张检查机机检数据离线二次检测核查的系统，其特殊之处在于：包括中心数据库、图像服务器、二次核查工作站以及小张核查人工判废系统、显示主站和检测从站；

所述检测从站包括正面检测从站和背面检测从站，用于实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测，得到缺陷信息及缺陷图像，然后将缺陷信息及缺陷图像发送至显示主站；

所述二次核查工作站用于接收显示主站发送的缺陷信息及缺陷图像进行错误分级，并把错误分级结果送入显示主站；

所述显示主站用于将接收到的缺陷信息以及错误分级结果上传至中心数据库，同时将缺陷图像上传至图像服务器；

所述小张核查人工判废系统用于从中心数据库下载错误分级结果，从图像服务器下载缺陷图像，并将错误分级结果与缺陷图像进行比较分析输出人工判废结果并将人工判废结果上传至中心数据库待导出使用。

上述检测从站设置在印码机收纸部分并与出纸链轮相接，包括传动装置、展平装置和检测装置；

所述传动装置包括与印码机出纸链轮10相接的检测滚筒11、与检测滚筒11相接的两个叼纸牙排链轮12、设置在两个叼纸牙排链轮之间的传动链条18、设置在传动链条上的多个均布的叼纸牙排15；所述叼纸牙排可将检测滚筒传送的被检大张产品从展平装置上拖过；

所述展平装置包括设置在两个叼纸牙排链轮12下方的吸风板4、设置在吸风板下方的两个长条形横向吸风口3、设置在吸风板上方且横向设置的吹风装置14；所述吸风口3与气泵6相通，所述吹风装置可向吸风板上吹气；

所述检测装置包括设置在吸风板4上的横向缺口8、与印码机出纸链轮10相接的检测滚筒11、与检测滚筒11同轴连接的编码器13设置在吸风板上方的正面检测从站、设置在吸风板下方的背面检测从站、用于接收检测信息的显示主站、用于连接正面检测从站、背面检测从站和显示主站的大张检查机系统局域网；

所述正面检测从站和背面检测从站分别包括两台彩色线阵CCD相机、两台与CCD相机分别相连的检测前端PC、为前端PC提供照明的光源2；所述背面检测从站的CCD相机正对缺口8；

所述编码器可向所有的检测前端PC提供同步信号。

上述小图像的大小为180×120像素。

一种大张检查机机检数据离线二次检测核查的方法，其包括以下步骤：

1】检测从站实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测，得到缺陷信息及缺陷图像，然后将缺陷信息及缺陷图像发送至显示主站；

2】显示主站将缺陷信息及缺陷图像发送至二次核查工作站，二次核查工作将接收到缺陷信息及缺陷图像进行错误分级处理，输出错误分级结果；

3】显示主站将接收到的缺陷信息以及错误分级结果上传至中心数据库，同时将缺陷图像上传至图像服务器；

4】小张核查人工判废系统从中心数据库下载错误分级结果，从图像服务器下载缺陷图像，并将错误分级结果与缺陷图像进行比较分析输出人工判废结果并上传至中心数据库待导出使用。

上述检测从站的正面检测工作站和背面检测工作站实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测的具体步骤如下：

1.1]驱动装置将印码机送出的被检大张产品从展平装置的吸风板上匀速拖过，展平装置的吸风口和吹风装置将该被检大张产品压紧在吸风板上以保持平整；

1.2]与检测滚筒同步转动的编码器触发相应的CCD相机进行采图；

1.3]前端PC分别与CCD相机和印码在线检测系统相连，将采集到的实时图像与内置的模型图像进行小图像对比分析，然后将有质量缺陷的图像信息与印码在线检测系统的号码对应；

1.4]将有质量缺陷的缺陷图像和缺陷信息以及对应的号码通过大张检查机系统局域网发送到显示主站，在显示主站界面完成报警提示。

6、根据权利要求4或5所述的大张检查机机检数据离线二次检测核查的方法，其特征在于：二次核查工作站对接收到的缺陷信息及缺陷图像进行错误分级，并把错误分级结果送入显示主站的具体步骤为：

2.1】收集若干大张好品样张，通过图像特征信息提取过程，通过对所提取大量图像特征信息，采用非参数估计法建立一个多维特征概率分布模型，建立二次检测核查数据模型，作为检查的模板；

2.2】对于待检的来自各检测从站的缺陷图像，经过图像特征信息提取过程后得到图像特征信息集合；

2.3】步骤2.2】中所得出图像特征信息集合与步骤2.1】中二次检测核查数据模型进行比较减运算，得到残点图像；

2.4】通过聚类操作，将残点图像中的噪点被剔除，得到精细残点图像；所述聚类操作为设定包括残点面积阈值或和残点间的距离阈值；

2.5】筛选分类：对精细残点图像提取尺寸、能量以及颜色信息，根据图像作废类型及程度进行筛选分类，将其分为实废、疑似和误废三类，作为输出结果。

上述图像特征信息包括色彩信息、色差信息、定位核信息、空间位置信息、小尺度纹理信息以及大尺度图像结构信息。

上述聚类操作为模糊C均值聚类操作。

上述小图像的大小为180×120像素。

本发明的有益效果：

1、本发明方法基于产品机检结果，采用算法复杂度更高和更加精确可靠的模式识别和图像处理算法针对机检出来的缺陷图像集中进行再次计算机检测与核查，并将其分为实废、疑似废和误废三级，实现明显实废和明显误废自动筛除，可降低人工判废的工作量，规避人工漏严重废风险，对简化生产工序，加快检查速度，节省生产资源起到至关重要的作用。

2、本发明可实现大张检查机机检结果全图像区域自动、离线、高速的二次判废计算；可实现图像残点的精准提取与分类，实现大张检查机机检误废的自动剔除和严重废品的自动筛查；通过本发明方法的应用，降低人工判废工作量，降低人工漏废风险；本发明通过企业内部局域网和大张检查机系统局域网的构建，可实现快速的图像数据下载和上传功能；数据传输采用索引效验机制，对数据在传输和存储时发生的错误能及时提示；数据访问采图共享互斥访问机制，避免大张检测机和二次核查工作站信息共享冲突；开发的前台操作模块与后台维护模块，各级用户操作便捷，实现机检数据的实时处理、历史数据的条件索引、后台模板的维护优化了。

3、本发明系统可实现对缺陷图像的全检，并将大张检查机机检信息的缺陷等级分为三级，将明显实废和明显误废自动筛除，经过在小张核查工艺中的应用，使大张检查机的半废量减少94.6％，可以大大降低人工判废的工作量，降低人工漏废风险，对简化生产工序，加快检查速度，节省生产资源起到至关重要的作用。本发明完成了350万模拟验证与200万生产验证，平均漏废为每万4.64条，剔废率达到68％。

4、本发明对原纸黑色小点具有较强的鉴别能力，可以将这类小点视为误废予以剔出；本发明对纸张拉伸变形及光线变化具有一定的适应能力，减少了该类型引起的误报。二次核查将人脸识别方法应用于印刷产品检测，除了大张检测采用的色彩信息、色差信息、定位核信息之外，二次核查还从图像中提取了更多可用信息，如空间位置信息、小尺度纹理信息、大尺度图像结构信息等，结合这些信息，算法将具有比大张检测机更高的识别区分度。源于人脸识别的思想，这些信息对于光线变化、结构变化具有更高的鲁棒性，因而对于印刷品时常发生的微小且在允许范围内的光线及空间形状变化具有较强的容忍度。

5、本发明小图像的大小优选180×120像素，图像太大影响检测质量，图像太小影响检测速度。

附图说明

图1为本发明系统的结构示意图；

图2为本发明检测从站的正面结构示意图；

图3为本发明检测从站的侧面结构示意图；

图4为本发明核查方法的流程图；

图5为本发明方法原理图。

具体实施方式

整个系统涉及企业内部局域网和大张检查机系统局域网；其包含以下设备中心数据库、图像服务器、二次核查工作站以及小张核查人工判废系统、显示主站和检测从站；检测从站包括正面检测从站和背面检测从站，这些设备都通过工业现场网络实现互联。

1、二次核查工作站的数据(缺陷信息和缺陷图像)来源于显示主站数据库；

2、二次核查工作站在运行过程中将临时访问该数据，执行核查操作。核查完成后将根据核查结果对显示主站DZVS数据库中的车号表设置结果标识；

3、显示主站上传大张检查信息、二次核查工作站的信息至中心数据库，上传缺陷图像至图像服务器；

4、小张核查人工判废系统从中心数据库下载二次检测核查信息，从图像服务器下载缺陷图像；

5、操作员运行小张核查人工判废系统对二次核查后的疑似信息进行再次剔废，完成剔废操作后，将最终判废结果上传至中心数据库。

本发明技术指标：

核查对象：检测从站报出的缺陷小图；

数据来源：显示主站DZVS数据库；

核查结果：分为疑似、误废、实废三类，人工核查疑似部分，规避了人工漏严重废的风险；

检测幅面：整大张产品；检测系统适用于所有现在印刷的人民币；

误废剔除率：≥50％；

一般漏废率：≤1/万；

严重漏废率：0％。

检测从站的结构：

检测从站设置在印码机收纸部分并与出纸链轮相接，包括传动装置、展平装置和检测装置；

传动装置包括与印码机出纸链轮10相接的检测滚筒11、与检测滚筒11相接的两个叼纸牙排链轮12、设置在两个叼纸牙排链轮之间的传动链条18、设置在传动链条上的多个均布的叼纸牙排15；所述叼纸牙排可将检测滚筒传送的被检大张产品从展平装置上拖过；

展平装置包括设置在两个叼纸牙排链轮12下方的吸风板4、设置在吸风板下方的两个长条形横向吸风口3、设置在吸风板上方且横向设置的吹风装置14；吸风口3与气泵6相通，所述吹风装置可向吸风板上吹气；

检测装置包括设置在吸风板4上的横向缺口8、与印码机出纸链轮10相接的检测滚筒11、与检测滚筒11同轴连接的编码器13设置在吸风板上方的正面检测从站、设置在吸风板下方的背面检测从站、用于接收检测信息的显示主站、用于连接正面检测从站、背面检测从站和显示主站的大张检查机系统局域网；

正面检测从站和背面检测从站分别包括两台彩色线阵CCD相机、两台与CCD相机分别相连的检测前端PC、为前端PC提供照明的光源2；所述背面检测从站的CCD相机正对缺口8；编码器可向所有的检测前端PC提供同步信号。

检测从站的工作过程：

1.1]驱动装置将印码机送出的被检大张产品从展平装置的吸风板上匀速拖过，展平装置的吸风口和吹风装置将该被检大张产品压紧在吸风板上以保持平整；

1.2]与检测滚筒同步转动的编码器触发相应的CCD相机进行采图；各检测从站在300ms内完成一个大张的全幅面检测，实质是将全幅面图像分割成若干个小图像进行检测，得到缺陷信息及缺陷图像；

1.3]前端PC分别与CCD相机和印码在线检测系统相连，将采集到的实时图像与内置的模型图像进行对比分析，然后将有质量缺陷的图像信息与印码在线检测系统的号码对应；

1.4]各检测从站将有质量缺陷的图像信息和号码通过大张检查机系统局域网(千兆网络)发送到二次核查工作主站、显示主站和控制主站。

本发明原理：

由于大张检测结果具有较高的识别敏感度(漏废少)，和较低的识别特异性(误报多)，因此，离线二次检测核查的核心思想在于采用与大张检测不同的图像处理算法对大张在线检测得到的局部小图(180×120像素)进行分析，该算法同样具有高敏感度特性，且检测侧重点与大张检测算法具有较高的不一致性，因而两种算法的先后使用将产生一个检测交集，将处于交集中的错误视为真实废品，这样的识别结果兼备高敏感度和高特异性，也即较大张检测算法具有更高的准确性。

二次核查工作站将人脸识别方法应用于印刷产品检测，除了大张检测采用的色彩信息、色差信息、定位核信息之外，二次检测核查还从图像中提取了更多可用信息，如空间位置信息、小尺度纹理信息、大尺度图像结构信息等，结合这些信息，算法将具有比大张检测机更高的识别区分度。源于人脸识别的思想，这些信息对于光线变化、结构变化具有更高的鲁棒性，因而对于印刷品时常发生的微小且在允许范围内的光线及空间形状变化具有较强的容忍度。

具体二次核查方法的步骤流程：

第一步：收集若干大张好品样张，通过特征提取过程，建立二次核查模型，作为检查的模板。

以下是对“提取特征”的详细介绍：

二次核查将人脸识别方法应用于印刷产品检测，除了大张检测采用的色彩信息、色差信息、定位核信息之外，二次核查还从图像中提取了更多可用信息，如空间位置信息、小尺度纹理信息、大尺度图像结构信息等，结合这些信息，算法将具有比大张检测机更高的识别区分度。源于人脸识别的思想，这些信息对于光线变化、结构变化具有更高的鲁棒性，因而对于印刷品时常发生的微小且在允许范围内的光线及空间形状变化具有较强的容忍度。

为了使获得的信息对于旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性，需要从原始图像中提取鲁棒性特征，并对这些特征做归一化运算。

1、空间位置特征

采用基于相关的模板匹配(conrelation-based)，适用于纹理图像，聚焦不清的图像和形状变形。该方法利用模板图像Y与待检测特性X之间的相关系数，来确定两者之间的相对位移，通过图像平移实现空间位置的归一化。

$r_{\mathrm{XY}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2}\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}}$

2、色彩特征

采用颜色直方图(Color Histogram)提取颜色特征。颜色直方图直观的显示了图像在色彩空间的分布状况。将图像直方图以标准图像的直方图为标准作变换，使两图像的直方图相同和近似，从而使两幅图像具有类似的色调和反差，以达到对颜色特征进行归一化的目的。

3、小尺度纹理特征

小尺度空间的纹理特征采用灰度级的空间相关矩阵即共生矩阵为基础的纹理特征提法。图像中相距(Δx，Δy)的两个灰度像素同时出现的联合频率分布可以用灰度共生矩阵来表示。从共生矩阵导出以下反映矩阵状况的参数：

(1)能量

(2)对比度

(3)相关

(4)熵

(5)逆差距

4、大尺度结构特征

采用图像局部特征描述算子(Scale Invariant Feature Transform)提取多尺度空间的结构特征。该算子完成以下过程：

1)对于图像上的点，计算其在每一尺度下DoG算子(Difference-of-Gaussian)的响应值，这些值连起来得到特征尺度轨迹曲线，以此初步确定关键点位置和所在尺度。

2)通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

3)最后利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

通过对大量标准样张提取上述特征，采用非参数估计法(Nonparametric Estimation)建立一个多维特征概率分布模型，在上述多维特征空间中形成一幅标准“模板”，以作为缺陷检测的标准图像(GMImage)。

第二步：提取采集的待检测图像特征的方法同于第一步。

第三步：待检测图像的特征图像与训练保存好的模板图像进行减运算(减灰度)，得到残点的残差图像。根据将待检图像(S)与标准图像(T)之间做差分运算：I(S)-I(T)，并对该图像做二值化运算，获得一幅带有噪声的差异图像。

第四步：残点聚类，获得精致的残点图像。

因为待检测图像的特征图像与模板图像对比、提取，获得的是一个粗糙的残点图像。通过模糊C均值聚类(Fuzzy C Mean)操作，对图像中的紧致度高的残点进行聚合，从而剔除噪声或非同类点的干扰，获得精细的残点图像。

第五步：残点分析器根据判断规则，对精细残点图像进行分析，将其分为实废、疑似和误废三类，作为输出结果。

采用带监督机器学习方法(Supervised Machine Learning)，采集大量人工判废数据作为训练样本，根据图像特征与人工判废标志(废、疑似和误废)的关系，建立概率统计模型，形成分类器(Classifier)。对于新的图像样本，分类器能自动识别出其所属的类型。

Claims (7)

1.一种大张检查机机检数据离线二次检测核查的系统，其特征在于：包括中心数据库、图像服务器、二次核查工作站以及小张核查人工判废系统、显示主站和检测从站；

所述检测从站包括正面检测从站和背面检测从站，用于实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测，得到缺陷信息及缺陷图像，然后将缺陷信息及缺陷图像发送至显示主站；

所述二次核查工作站用于接收显示主站发送的缺陷信息及缺陷图像进行错误分级，并把错误分级结果送入显示主站；

所述显示主站用于将接收到的缺陷信息以及错误分级结果上传至中心数据库，同时将缺陷图像上传至图像服务器；

所述小张核查人工判废系统用于从中心数据库下载错误分级结果，从图像服务器下载缺陷图像，并将错误分级结果与缺陷图像进行比较分析输出人工判废结果并将人工判废结果上传至中心数据库待导出使用。

2.根据权利要求1所述的大张检查机机检数据离线二次检测核查的系统，其特征在于：

所述检测从站设置在印码机收纸部分并与出纸链轮相接，包括传动装置、展平装置和检测装置；

所述传动装置包括与印码机出纸链轮(10)相接的检测滚筒(11)、与检测滚筒(11)相接的两个叼纸牙排链轮(12)、设置在两个叼纸牙排链轮之间的传动链条(18)、设置在传动链条上的多个均布的叼纸牙排(15)；所述叼纸牙排可将检测滚筒传送的被检大张产品从展平装置上拖过；

所述展平装置包括设置在两个叼纸牙排链轮(12)下方的吸风板(4)、设置在吸风板下方的两个长条形横向吸风口(3)、设置在吸风板上方且横向设置的吹风装置(14)；所述吸风口(3)与气泵(6)相通，所述吹风装置可向吸风板上吹气；

所述检测装置包括设置在吸风板（4）上的横向缺口（8）、与检测滚筒（11）同轴连接的编码器（13）、设置在吸风板上方的正面检测从站、设置在吸风板下方的背面检测从站、用于接收检测信息的显示主站、用于连接正面检测从站、背面检测从站和显示主站的大张检查机系统局域网；

所述正面检测从站和背面检测从站分别包括两台彩色线阵CCD相机、两台与CCD相机分别相连的检测前端PC、为CCD相机提供照明的光源（2）；所述背面检测从站的CCD相机正对缺口（8）；

所述编码器可向所有的检测前端PC提供同步信号。

3.根据权利要求1或2所述的大张检查机机检数据离线二次检测核查的系统，其特征在于：所述小图像的大小为180×120像素。

4.一种大张检查机机检数据离线二次检测核查的方法，其特征在于：其包括以下步骤：

1】检测从站的正面检测从站和背面检测从站实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测，得到缺陷信息及缺陷图像，然后将缺陷信息及缺陷图像发送至显示主站；

其中所述检测从站的正面检测从站和背面检测从站实时采集大张产品的全幅面图像，并将全幅面图像分割成若干个小图像进行检测的具体步骤如下：

1.1]传动装置将印码机送出的被检大张产品从展平装置的吸风板上匀速拖过，展平装置的吸风口和吹风装置将该被检大张产品压紧在吸风板上以保持平整；

1.2]与检测滚筒同步转动的编码器触发相应的CCD相机进行采图；

1.3]检测前端PC分别与CCD相机和印码在线检测系统相连，将采集到的实时图像与内置的模型图像进行小图像对比分析，然后将有质量缺陷的图像信息与印码在线检测系统的号码对应；

1.4] 将有质量缺陷的缺陷图像和缺陷信息以及对应的号码通过大张检查机系统局域网发送到显示主站，在显示主站界面完成报警提示；

所述传动装置包括与印码机出纸链轮(10)相接的检测滚筒(11)、与检测滚筒(11)相接的两个叼纸牙排链轮(12)、设置在两个叼纸牙排链轮之间的传动链条(18)、设置在传动链条上的多个均布的叼纸牙排(15)；所述叼纸牙排可将检测滚筒传送的被检大张产品从展平装置上拖过；

所述展平装置包括设置在两个叼纸牙排链轮(12)下方的吸风板(4)、设置在吸风板下方的两个长条形横向吸风口(3)、设置在吸风板上方且横向设置的吹风装置(14)；所述吸风口(3)与气泵(6)相通，所述吹风装置可向吸风板上吹气；

2】显示主站将缺陷信息及缺陷图像发送至二次核查工作站，二次核查工作站将接收到缺陷信息及缺陷图像进行错误分级处理，并把错误分级结果送入显示主站；

具体步骤为：

2.1】收集若干大张好品样张，通过图像特征信息提取过程，通过对所提取大量图像特征信息，采用非参数估计法建立一个多维特征概率分布模型，建立二次检测核查数据模型，作为检查的模板；

2.2】对于待检的来自各检测从站的缺陷图像，经过图像特征信息提取过程后得到图像特征信息集合；

 2.3】步骤2.2】中所得出图像特征信息集合与步骤2.1】中二次检测核查数据模型进行比较减运算，得到残点图像；

2.4】通过聚类操作，将残点图像中的噪点剔除，得到精细残点图像；所述聚类操作为设定包括残点面积阈值或/和残点间的距离阈值；

2.5】筛选分类：对精细残点图像提取尺寸、能量以及颜色信息，根据图像作废类型及程度进行筛选分类，将其分为实废、疑似和误废三类，作为输出结果；

3】显示主站将接收到的缺陷信息以及错误分级结果上传至中心数据库，同时将缺陷图像上传至图像服务器；

4】小张核查人工判废系统从中心数据库下载错误分级结果，从图像服务器下载缺陷图像，并将错误分级结果与缺陷图像进行比较分析输出人工判废结果并上传至中心数据库待导出使用。

5.根据权利要求4所述的大张检查机机检数据离线二次检测核查的方法，其特征在于：

所述图像特征信息包括色彩信息、色差信息、定位核信息、空间位置信息、小尺度纹理信息以及大尺度图像结构信息。

6.根据权利要求5所述的大张检查机机检数据离线二次检测核查的方法，其特征在于：所述聚类操作为模糊C均值聚类操作。

7.根据权利要求6所述的大张检查机机检数据离线二次检测核查的方法，其特征在于：所述小图像的大小为180×120像素。

Images