CN105405109A - 一种基于带状背景建模的脏点检测方法 - Google Patents

Abstract

本发明公开了一种基于带状背景建模的脏点检测方法，本方法采取与以往不同的背景建模算法，增加了图像去噪，图像分割与数学形态学方法，降低了误检率，提高了准确检测率和它的实用性。其实现过程是：首先输入从某一摄像头模组采集的脏点检测图像，通过灰度变换、双边滤波器与图像裁剪对该图像进行预处理获得原始图像。其次，采用本发明提出的带状背景建模算法建立原始图像的背景模型。对原始图像与获得的背景模型进行减法操作，得到差值图像，设置适当的阈值去除差值图像的部分误差点，筛选出潜在脏点。最后，根据脏点成像的特征，采用数学形态学技术消除差值图像中孤立、离散的噪点，最终检测出脏点。

Description

一种基于带状背景建模的脏点检测方法

技术领域

本发明属于图像识别技术领域，涉及图像去噪，图像的背景建模以及数学形态学技术，可用于目标检测领域。

背景技术

近年来，随着智能手机、平板电脑等具有照相摄像功能的数码产品日益普及，手机摄像头模组的需求日益增大。在实际生产过程中，对摄像头模组进行脏点检测是保证产品质量的重要手段，然而，随着模组产量的逐渐增大，人工脏点检测方法已不能满足需求，如何实现脏点检测自动化，提高良品率为人们所关注。脏点检测图像作为脏点检测的重要依据，如何根据脏点检测图像的成像原理与特征，以及图像背景光强分布的特点，对脏点检测图像进行处理，对于检测的准确性显得尤为重要。基于此提出的带状背景建模脏点检测算法，由图像去噪，图像的背景建模，图像的代数运算以及数学形态学技术构成；首先对脏点检测图像进行预处理，其次通过对脏点检测图像进行带状背景建模，筛选出潜在脏点，最后采用数学形态学技术检测出脏点，实现脏点检测的自动化，提高检测的准确率。

通常，脏点检测图像通过在摄像头模组前放置白色透光遮挡物进行拍摄得到。本质上，成像脏点是落在成像传感器前面的灰尘颗粒所造成的阴影。基于脏点成像的原理并结合对大量脏点成像图片的观察，可以总结出脏点成像的特征为：（1）引起光强的衰减，在图像上造成阴影，阴影的深度分布不均匀，越靠近脏点中心亮度越小，即光强衰减越大；（2）绝大多数表现为圆形，脏点的形状与光圈的形状相似。此外，由于外部光线分布不是绝对均匀，白色遮挡物放置的位置也不是绝对平行于摄像头的焦平面，造成了脏点检测图像具有背景光强分布不均匀的特点。而实际上，即使外部光线完全均匀分布，因为摄像头不可避免有暗角的存在，最终仍然得不到背景光强均匀的背景图像。如此，上述脏点检测图像所具有的成像特征，背景光强分布不均匀的特点，给脏点自动检测带来了难题，该问题可描述为：难以用统一的亮度标准判断摄像头是否存在脏点；由于异物大小不能确定，生成的脏点大小随机性较大，即使对于相同的异物，不同的摄像头由于光圈大小的不同也会造成脏点成像大小的差异，难以用统一的形状标准判断是否是脏点；由于暗角与脏点都会使图像区域变暗，因而两者难以直接区分。因此，解决诸如此类的问题，首先需要避免脏点检测图像暗角对检测效果的影响，就是将图像边缘变得平滑并且裁剪图像边缘部分像素点，就需要利用双边滤波器对图像进行去噪，将获得的图像作为原始图像。其次，采用多项式曲面拟合技术对图像进行拟合建立背景模型，从数学的角度反应出图像的特征，通过对拟合图像与原始图像进行减法操作，计算出各点预测误差，筛选出潜在脏点，获得差值图像。最后，采用数学形态技术探测潜在脏点，去除孤立、离散的噪点，检测出脏点，获得脏点二值图像。因此，依次采用图像去噪，多项式曲面拟合建立模型、图像的代数运算以及数学形态学技术对脏点检测图像进行处理是实现脏点自动化检测，提高脏点检测准确率的重要基础，而采用何种拟合方法对脏点检测图像进行背景建模，减少预测误差成为了解决这个问题的关键。

图像去噪是图像处理的一种重要的预处理手段。在图像的获取、传输和存贮的过程中总是不可避免地受到各种噪声源的干扰。为了从图像中获取更准确的信息,选取适当的图像去噪预处理算法成为后续处理的关键。边缘作为图像的一种基本特征,为人们描述或识别目标以及解释图像提供了一个重要的特征参数。所以，图像去噪的基本目标是在抑制和去除噪声的同时,尽量不损害、不丢失图像边缘。双边滤波器是一种在去噪的同时能很好地保留图像边缘等细节信息的非线性滤波技术。双边滤波器是基于空间分布的高斯滤波函数，比高斯滤波多了一个基于像素灰度值差异的高斯核函数，这样就保证了边缘附近像素值的保存。它不仅考虑空间的邻近性也考虑灰度值的相似性，只有邻域内灰度相似的才被一起平均,更符合人眼视觉习惯。因此，本发明采用双边滤波器处理脏点检测图像，到达保边去噪，获得平滑图像的目的。

背景建模也称为背景估计,其主要目的是根据当前的估计背景，把对视频帧图像中运动目标检测问题转化为二分类问题，将所有像素归为背景或者运动前景两类，然后对分类结果进行后处理，得到最终的检测结果。背景建模算法的基本思想为：对图像的背景进行建模。一旦背景模型建立，将当前的图像与背景模型进行某种比较，根据比较结果确定前景目标。目前前景检测中背景建模的一些常用的算法,包括帧间差分法、基于贝叶斯理论的复杂背景建模和基于时间轴滤波的背景估计。背景建模算法主要应用于运动目标的检测，而对于静态背景静止一无运动目标这样的静态场景也同样使用。由于静态图像属于静态场景，所以本发明采用背景建模的思想对脏点检测图像进行背景建模，然而本发明并非采用通常的背景建模方法，而是提出了采用多项式曲面拟合方法对图像进行建模。

曲面拟合是计算机辅助几何设计(Computer-AidedGeometricDesign,CAGD)中的一个重要研究课题，在计算机图形学、逆向工程、数值计算等方面有着广泛的应用。拟合通常采用两种方式即插值方式和逼近方式来实现。多项式曲面拟合算法的基本思想为：根据实际试验测试数据求取函数f(x,y)与变量x及y之间的解析式，使其所确定的曲面通过或近似通过实验测试点。也就是说使所有实验数据点能近似地分布在函数f(x,y)所表示的空间曲面上。考虑到脏点检测图像的特点，直接对整幅检测图像拟合，不能充分反映图像中各像素值的关系，本发明所提出的带状背景建模算法，也就是先将原始图像分割为若干带状的图像块，再设置最佳的拟合参数，对所得的若干带状图像块进行拟合。与一般的背景建模算法主要存在两方面的差异，一方面，我们不采取直接对图像进行背景建模的方式，而是先将图像分割为若干图像块后，针对每块图像块建模，再将已建好的图像块背景模型拼接成整块模型。另一方面，我们通过多项式曲面拟合的算法对图像进行背景建模。具体算法可描述为：通过设置一定大小的图像块作为分割基准，将原始图像分割为若干块大小与该分割基准相等的图像块，随后采用多项式曲面拟合算法依次对每个图像块进行拟合，按照分割的顺序拼接图像块获得拟合图像，拟合图像即为背景模型。实验结果表明本发明所提出的带状背景建模算法具有极佳的拟合效果，使曲面能够平缓的过渡，可以减小误差较大点的影响。最后根据背景建模算法的思想，比较原始图像与背景模型，也就是对拟合图像与原始图像进行减法操作，从而计算图像各点的预测误差，获得差值图像，以便后续筛选出潜在脏点。

数学形态学(MathematicalMorphology)是建立在集合论基础上的一门学科，非常适合信号的几何形态分析和描述。其基本思想是利用结构元素对信号进行“探测”，保留主要形状，删除不相干形状(如噪声、毛刺)。作为探针的结构元素，可直接携带知识，如方向、大小、色度等信息，来探测、研究包含了信号主要信息的结构特征，不同的结构元素可以得到不同的结果。形态和差运算，即膨胀与腐蚀是数学形态学的基础。数学形态学首先处理的是二值图像，称为二值数学形态学(BinaryMorphology)。二值数学形态学是一种针对集合的处理过程。其形态算子的实质是表达物体或形状的集合与结构元素间的相互作用，结构元素的形状就决定了这种运算所提取的信号的形状信息。形态学图像处理是在图像中移动一个结构元素,然后将结构元素与下面的二值图像进行交、并等集合运算。先腐蚀后膨胀的过程称为开运算。它具有消除细小物体,在纤细处分离物体和平滑较大物体边界的作用。本发明便是采用开运算去除孤立、离散的噪点，提高脏点检测的准确率。

发明内容

本发明的目的在于，通过改善基于差分技术的脏点检测算法的通用性低，以及基于目标建模的脏点检测算法的误判率高的缺点，提出了带状背景建模脏点检测算法。该算法由图像去噪，图像分割，图像背景建模以及数学形态学技术构成。首先利用双边滤波器对脏点检测图像进行预处理，可以保持图像边缘性质不变且去除图像噪点，进而裁剪图像边缘部分像素点，有助于避免脏点检测图像的暗角或者暗边对检测效果的影响，提高检测的准确率。其次，在对脏点检测图像进行背景建模阶段，考虑到脏点检测图像建模效果的好坏直接影响后续潜在脏点的筛选，我们设计了一种带状背景建模算法，并非对整幅图像进行背景建模，而是对分割为若干带状的图像块建立模型。并且与一般背景建模所采取的方法不同，采用多项式曲面拟合方法拟合分割的图像块，如此细化的拟合脏点检测图像，获得了较好的拟合效果，有利于减少拟合图像与原始图像之间的预测误差，达到尽可能准确筛选出脏点的目的。最后，采用数学形态学技术去除孤立、离散的噪点，不仅可以提高脏点检测的准确率而且更能清晰地显示脏点的形状。因此，利用该算法，可以降低脏点检测的误判率，提高脏点检测的效率。并且，该算法与基于差分技术的脏点检测算法，基于目标建模的脏点检测算法相比，具有更高的实用性和通用性。

本发明的技术方案是，首先输入从某一摄像头模组采集的脏点检测图像，通过灰度变换将脏点检测图像变换为灰度图像，采用双边滤波器对灰度图像进行处理，既保存图像边缘又去除了噪声，使得图像变得平滑。为了避免灰度图像的暗角或者暗边引起误判，再裁去平滑的灰度图像边缘的部分像素点，并将裁剪后的灰度图像作为原始图像。在对原始图像建立背景模型阶段，考虑到原始图像的光强分布与脏点的深度分布不均匀，如果直接对整幅原始图像进行建模，即直接对整幅原始图像进行拟合，则不能充分逼近原曲面，出现严重的欠拟合现象。我们设计了带状背景建模算法，该算法可具体的描述为：设置适当大小的图像块作为分割模板，按照模板的大小依次对图像进行分割，直至原始图像不可分，获得若干带状图像块；设置适当的多项式拟合参数，按照分割的次序一一拟合这些图像块，通过先分割图像再拟合的方式，可以细化的拟合图像，获得更好的拟合效果。通过上述操作之后，将拟合后的图像块按分割的顺序拼接成大小与原始图像一致的拟合图像，也就是说建立了整幅原始图像的背景模型。对原始图像与拟合图像进行减法操作，即将原始图像与背景模型进行比较，获得差值图像，设置适当的阈值去除差值图像的部分误差点，筛选出潜在脏点。为了更为准确的筛选出潜在脏点，根据脏点成像的特征，本发明采用数学形态学技术消除差值图像中孤立、离散的噪点，最终检测出潜在脏点。

具体步骤如下：

一、输入一幅从某一摄像头模组采集的脏点检测图像，将脏点检测图像变换为灰度图像并且经双边滤波器处理为平滑的灰度图像。裁剪灰度图像的边缘像素点，将裁剪后的灰度图像作为原始图像。

脏点检测图像可以是通过不同的摄像头模组采集得到。

其中，所裁剪的灰度图像边缘像素值可根据脏点检测图像中脏点分布的特点设置。

二、采用本发明提出的带状背景建模算法，设置适当大小的图像块作为分割模板，依照该模板的大小，将上述获得的原始图像依次分割为若干带状图像块，直至图像的大小小于该模板，不可再分为止。按照分割的次序一一拟合分割后所得的图像块，依次拼接图像块，获得拟合图像，建立整幅原始图像的背景模型。

三、本发明提出的带状背景建模算法将原始图像与上述所得的背景模型作减法操作，计算两幅图像对应各点的预测误差，获得差值图像。

四、通过设置适当的阈值，对差值图像进行阈值处理，筛选出潜在脏点。

阈值可先根据所获得的预测误差值而设置为某一值，随后，依据检测效果来调整该阈值，通过大量的实验，可将阈值调整为适当的值。

其中，阈值处理可描述为：将误差值为负值且其绝对值大于阈值的点标记为潜在脏点，且将该点赋值为1；不满足上述条件的点视为非潜在脏点，将这些点赋值为0。最终差值图像变为二值图像。

五、采用数学形态学技术处理上述获得的二值图像，检测潜在脏点的区域，去除二值图像中的孤立的、离散的噪点，最后保留下的潜在脏点可被认为是脏点。

针对脏点检测图像的成像原理，成像特征及光强分布特点，本发明提出了背景建模脏点检测算法，该算法将图像去噪，多项式曲面拟合，图像的代数运算以及数学形态学结合起来，逐步处理脏点检测图像，避免了脏点检测图像的暗角或者暗边对脏点检测的影响，实现了自动化检测脏点。为了进一步提高脏点检测的准确率，在基于背景建模算法的基础上，提出了带状背景建模算法，降低了预测误差，更为准确的筛选出潜在脏点，提高脏点检测的效率。

附图说明

图1本发明带状背景建模脏点检测方法流程图。

图2本发明带状背景建模算法流程图。

图3某一幅摄像头脏点检测图像。

图4本发明对某一脏点检测图像进行预处理后获得原始图像A的效果图。

图5本发明采用所设计的带状背景建模算法建立原始图像A的背景模型即拟合图像B的效果图。

图6本发明采用带状背景建模算法对原始图像A与原始图像B进行处理后获得差值图像C的效果图。

图7本发明采用数学形态学对潜在脏点二值图像D进行处理后获得脏点二值图像E的效果图。

具体实施方式

下面对本发明的具体实施方式作进一步详细的描述。

如图1所示，本发明一种带状背景建模脏点检测方法流程图，首先输入一幅脏点检测图像，对脏点检测图像进行预处理，该过程可描述为：通过灰度变换将脏点检测图像变换为灰度图像，采用双边滤波器对灰度图像保边去噪，得到平滑的灰度图像，再裁剪该图像边缘的部分像素点，获得原始图像。

下一步是对原始图像建立背景模型的过程。如图2本发明带状背景建模算法流程图所示：

输入参数：原始图像A；

输出结果：拟合图像B。

设置适当大小的图像块作为分割模板，即保持样条的高度与图像A高度一致，仅将其宽度设置为适当的像素值c，那么模板就是高度与原始图像相等，而宽度为c的图像块。具体的分割方式为：保持图像的高度不变，仅对图像的宽度进行切分。也就是在垂直图像宽度的方向，从图像最左端边缘开始，保证以每个样条的宽度c为分割单位对图像依次分割，直至图像宽度不可分，得到若干类似条状的图像块。

（2）设置适当的多项式拟合参数f，按照分割的次序对获得的每个图像块进行多项式曲面拟合,获得若干块拟合图像块。

（3）按照拟合的次序将拟合后的图像块拼接成拟合图像B，从而建立了整幅原始图像A的背景模型。

本发明所提出的带状背景建模算法的基本思想是：考虑到原始图像仍具有光强分布及脏点深度分布不均匀的特点，直接对整幅原始图像建立背景模型，也就是采用多项式曲面拟合算法直接对整幅图像进行拟合，则不能完整反映原始图像的物理特性，会出现严重的欠拟合现象，拟合效果不能满足检测的需要。我们不直接对整幅原始图像建立背景模型，而是采用局部建模的方式，也就是先分割原始图像为若干带状的图像块，对这些图像块一一建立模型，最后依次拼接图像块背景模型为整幅原始图像的背景模型。与通常的背景建模算法不同的是，我们不采取通过直接对图像进行建模的方式，而是通过设置一定大小的图像块作为分割模板，将原始图像依次分割为若干块带状图像块。经过上述分割阶段后，我们采取了与一般背景建模算法所不同的方法对每个图像块进行建模，也就是设置适当的多项式拟合参数，对这些图像块进行多项式曲面拟合。如此细化的拟合图像，能更充分地反映原始图像各个区域的物理特性，降低欠拟合的可能性，达到所需的拟合效果。最终将各个拟合后的图像依次拼接，即拼接每个图像块的背景模型，获得整幅原始图像的背景模型。其中，至于应将原始图像分割为多少块？进行多少次多项式拟合？可以依据实验拟合出的效果进行调整，本发明通过多次实验，获取适当的经验值作为这些参数的值。最后，按照分割的顺序将拟合后的图像块拼接为拟合图像，保证拟合图像与原始图像的尺寸相等。

下一步是对原始图像A与拟合图像B进行比较，即作减法操作，计算两幅图像相应各像素点的预测误差值e，获得差值图像C。

其次，下一步是设置阈值d，将预测误差值为负值且其绝对值大于阈值d的点标记为潜在脏点，即潜在脏点的像素值变为1；不满足上述条件的点标记为非潜在脏点，即非潜在脏点的像素值变为0。如此，差值图像由灰度图像成为了潜在脏点二值图像D。

由于潜在脏点二值图像D还存在若干非脏点的噪点，根据脏点的特点，本发明下一步采用数学形态学算法对标记的潜在脏点进行探测，通过开运算，去除孤立的、离散的噪点，检测出脏点。其中，本发明采用开运算潜在脏点进行探测，开运算指的是先膨胀后腐蚀的过程。具体操作方式为：首先进行两次膨胀运算，其次再进行两次的腐蚀运算，使得潜在脏点的轮廓变得光滑，断开狭窄的连接和消除细的突出物。本发明之所以采用此种运算，正是由于它具有消除细小物体,在纤细处分离物体和平滑较大物体边界的作用，可以满足消除细小噪点，检测出脏点的要求，最终获得脏点二值图像E。

以上内容是本发明带状背景建模脏点检测算法的详细步骤和实施方法。于本领域的技术人员来说不脱离本发明的构思的前提下做的任何改变都属于本发明的保护范围之内。

Claims (6)

1.基于一种带状背景建模的脏点检测方法，该方法包括以下步骤：

1）输入一幅脏点检测图像，对图像进行灰度变换获得灰度图像，然后通过双边滤波器将灰度图像处理为平滑的灰度图像；并且裁去平滑灰度图像边缘的部分像素点，将获得的灰度图像作为原始图像；

2）设置适当大小的图像块作为分割模板，依照该模板的大小，从原始图像左上角开始，依次分割为若干带状图像块，直至图像的大小小于该模板，不可再分为止；按照分割的次序，采用多项式曲面拟合方法一一拟合分割后所得的图像块，依次拼接拟合的图像块，获得拟合图像，建立整幅原始图像的背景模型；

3）对原图像与上述所得的背景模型进行减法操作，计算两者对应各点的预测误差，获得差值图像；

4）通过设置适当的阈值，对差值图像进行阈值处理，获得包含潜在脏点的二值图像；

5）采用数学形态学方法处理上述包含潜在脏点的二值图像，检测潜在脏点的区域，去除二值图像中的孤立的、离散的噪点，最后保留下的潜在脏点可被认为是脏点。

2.根据权利要求1.1）所述的方法，通过灰度变换与双边滤波器处理脏点检测图像，并且适当裁去该图像边缘的部分像素点获得原始图像。

3.根据权利要求1.2）所述的方法，通过设置高度与原始图像高度一样，宽度为某一适当值的图像块作为分割模板；依照该模板的大小，在垂直原始图像宽度的方向，从原始图像最左端边缘开始，将原始图像分割为若干带状的图像块；通过多项式曲面拟合方法依次拟合这些图像块，并且依次拼接拟合后的图像块，获得背景模型。

4.根据权利要求1.3）所述的方法，原始图像与其背景模型对应各像素点的像素值进行减法运算，获得两者对应各点的差值，这些差值点构成了差值图像。

5.根据权利要求1.4）所述的方法，比较差值图像中各点的像素值与阈值的大小，将像素值为负值且其绝对值大于阈值的点标记为潜在脏点，且将该点的像素值赋值为1；否则，将该点的像素值视为非潜在脏点，并赋值为0。

6.根据权利要求1.5）所述的方法，采用数学形态学技术消除离散、孤立的噪点，获得只包含脏点的脏点二值图像。