CN105374015A - 基于局部对比度和笔画宽度估计的低质量文档图像二值化方法 - Google Patents

Abstract

本发明涉及基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，步骤为：获取扫描文档图像、采用最小均值法对彩色文档图像u(x,y)进行灰度化处理，基于局部对比度的字符笔画像素检测，采用大津法(Otsu)对所得局部对比度图像进行全局最优阈值化，采用Canny算子对所得二值图像进行边缘检测，分别统计所有字符前景像素个数n_fg和字符边缘像素个数n_edge，计算轮廓比例并由此估计字符笔画宽度；最后基于滑动邻域法进行图像局部二值化。本发明能较好保留字符笔画细节，在有效分割字符前景同时，还能抑制墨迹浸润、页面污渍、纹理背景及光照不均匀等现象。

Description

基于局部对比度和笔画宽度估计的低质量文档图像二值化方法

技术领域

本发明涉及一种基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，属于图像处理技术领域。

背景技术

文档分析与识别(DAR)技术已广泛应用于印刷体字符及公式识别、手写文字识别、文档图像分割、视频字幕提取、文本信息检索等领域，主要包括图像采集、预处理、二值化、版面分析、OCR识别、建立索引等过程。图像二值化是其中一个关键处理步骤，它直接影响DAR系统的性能。然而，受图像对比度、墨迹浸润、页面污渍或光照不均匀等因素的影响，使得针对此类低质量文档图像的二值化具有极大的挑战。

目前，学术界提出了许多文档图像二值化算法，可大致分为全局阈值法和局部阈值法。全局阈值法采用单一的阈值将文档图像分为字符(前景)与背景两大类，如Otsu算法利用图像的灰度直方图选择一个最优阈值，使得经阈值分割后的前景与背景像素的类间方差最大。Otsu算法对于前景和背景差别较大，即直方图具有显著双峰特征的图像具有较好的分割效果，但在处理低质量文档图像时，会丢失部分甚至全部字符笔画细节。

局部阈值法(也称为自适应阈值法)则通过滑动窗口与文档图像卷积，从而实现在图像不同部分设定不同阈值，如利用像素邻域内的灰度均值和标准差来构建阈值分割曲面，其性能有赖于滑动窗口的尺寸及字符笔画的粗细。针对不同质量的文档图像需动态调整窗口尺寸，以获得最佳的阈值处理结果，当图像对比度较低时，会产生大量噪声点或将背景像素误判为前景像素。

CN103761520公开了一种基于笔划宽度的文档图像无参二值化方法，属于图像处理技术领域。该方法首先对输入的文档图像进行去噪预处理，并通过图像的灰度范围内的各个灰度等级得到一系列的二值化结果，然后通过给定的笔划宽度生成该笔划宽度下的最优二值化结果，最后通过厚笔划像素在目标像素中所占的比重变化确定最佳的笔划宽度和最终的二值化结果。

CN104751422公开了一种影印文档图像增强及二值化方法，包括以下几个步骤：对输入的彩色图像进行灰度化处理，得到灰度图像；采用Sobel水平和垂直算子获取每个像素点对应的局部图像块的边缘梯度；进行加权融合改进LC局部增强，获得每个像素点的加权融合局部对照值；基于每个像素点的加权融合局部对照值作为对应像素点的像素值，获得输入图像的增强图像。

CN104751422A公开了一种影印文档图像增强及二值化方法，包括以下几个步骤：对输入的彩色图像进行灰度化处理，得到灰度图像；采用Sobel水平和垂直算子获取每个像素点对应的局部图像块的边缘梯度；进行加权融合改进LC局部增强，获得每个像素点的加权融合局部对照值；基于每个像素点的加权融合局部对照值作为对应像素点的像素值，获得输入图像的增强图像。

发明内容

本发明的目的是针对上述现状，旨在提供一种基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，具体步骤如下：

1)获取扫描文档图像；

2)彩色图像灰度化；

采用最小均值法对彩色文档图像u(x,y)进行灰度化处理，计算公式为：

$u_{gray}(x,y)=\frac{1}{2}\[\underset{i}{min}\left(u_i\right(x,y\left)\right)+\frac{1}{3}\underset{i}{\Σ}{u}_i(x,y)\]$

式中，u_i(x,y)分别为R、G、B彩色分量图像，u_gray(x,y)为变换后的灰度图像；

3)图像局部对比度检测；

定义图像的局部对比度为：

$C(x,y)=\frac{I_{max}(x,y)-I_{min}(x,y)}{I_{mean}(x,y)}$

式中，I_max(x,y)、I_min(x,y)和I_mean(x,y)分别表示图像在其坐标(x,y)处的3×3邻域内亮度的最大值、最小值和平均值；

4)Otsu全局最优阈值化；

记t∈[0,L-1]为前景与背景像素的分割阈值，p_i表示其归一化直方图，

前景像素占图像比例为前景像素平均灰度值为

背景像素占图像比例为背景像素平均灰度值为 ${\mathrm{\μ}}_1\left(t\right)=\underset{i=t+1}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i/{\mathrm{\ω}}_1\left(t\right);$

图像总体平均灰度值为则确定全局最优阈值的准则是使经阈值处理后的前景与背景像素的类间方差最大；

5)字符笔画宽度估计；

采用Canny算子对步骤4)所得二值图像进行边缘检测，分别统计所有字符前景像素个数n_fg和字符边缘像素个数n_edge，计算轮廓比例并由此估计字符笔画宽度；

6)图像局部二值化；

将邻域窗尺寸大小设为字符笔画宽度的2-5倍，采用滑动邻域法对图像进行局部二值化处理，计算公式为：

式中，I(x,y)为(x,y)处的像素灰度值，μ_s(x,y)和σ_s(x,y)分别表示以(x,y)为中心的w×w邻域内所有已标记为前景像素的灰度平均值和标准偏差，常数k取值范围为0-1。

本发明与现有技术相比，其显著优点在于：

1、采用最小均值法对彩色图像进行灰度化，所得灰度图像与彩色像素值无关；

2、采用局部对比度定义，不仅能够补偿图像亮度变化产生的影响，还综合考虑了图像邻域内所有像素对图像局部对比度的归一化贡献；

3、采用轮廓比例法，对文档图像分辨率变化具有较好的鲁棒性；

4、能较好地保留字符笔画细节，并在有效分割字符前景的同时，较好地抑制墨迹浸润、页面污渍、纹理背景及光照不均匀等现象。

本发明公开了一种基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，属于图像处理技术领域。该方法首先对输入的彩色文档图像进行灰度化处理，然后基于图像的局部对比度实现前景字符像素检测，再采用Otsu算法对其进行全局最优阈值化处理，最后通过估计字符笔画宽度来确定邻域窗的大小，从而实现字符前景与页面背景的精细分割。实验结果表明，本发明中所给出的二值化算法能够较好地保留字符笔画细节，在有效分割字符前景的同时，还能够较好地抑制墨迹浸润、页面污渍、纹理背景不均匀等现象。

附图说明

图1为本发明流程图，

图2为光照及色彩不均匀的扫描文档图像样本图，

图3为经本发明彩色图像灰度化处理的效果图，

图4为局部对比度图像，

图5为采用Otsu算法进行全局最优阈值化处理得到的字符前景图，

图6为基于字符笔画宽度的文档图像局部精细二值化输出图像，

图7为具有墨迹浸润的扫描文档图，

图8为图7的经本发明二值化输出的文档图，

图9为具有纹理背景的扫描文档图，

图10为图9的经本发明二值化输出的文档图，

图11为具有页面污渍的扫描文档图，

图12为图11的经本发明二值化输出的文档图。

具体实施方式

本发明的流程图见图1，步骤为获取扫描文档图像，彩色图像灰度化，图像局部对比度检测，Otsu全局最优阈值化，字符笔画宽度估计，图像局部二值化。具体如下：

1)获取扫描文档图像；

2)彩色图像灰度化；采用的最小均值法对彩色图像进行灰度化，所得灰度图像具有彩色无关性。

目前主要采用分量加权平均、平均值、最大值等方法对彩色图像进行灰度化，

加权平均法：u_gray(x,y)＝0.2989×u_R(x,y)+0.5870×u_G(x,y)+0.1140×u_B(x,y)

平均值法： $u_{gray}(x,y)=\frac{1}{3}\[u_R(x,y)+u_G(x,y)+u_B(x,y)\]$

最大值法：u_gray(x,y)＝max(u_R(x,y),u_G(x,y),u_B(x,y))

这些方法更多是基于人眼视觉特性的建模。

本发明采用最小均值法对图2所示的彩色文档图像u(x,y)进行灰度化处理，所得灰度图像与彩色像素值无关，计算公式为：

$u_{gray}(x,y)=\frac{1}{2}\[\underset{i}{min}\left(u_i\right(x,y\left)\right)+\frac{1}{3}\underset{i}{\Σ}{u}_i(x,y)\]$

其中u_i(x,y)分别为R、G、B彩色分量图像，u_gray(x,y)为变换后的灰度图像。

图3为经本发明彩色图像灰度化处理的效果图。

对已是灰度扫描的图像，可省略此步骤。

3)图像局部对比度检测；

Bernsen方法中定义的图像局部对比度为C(x,y)＝I_max(x,y)-I_min(x,y)，其中I_max(x,y)和I_min(x,y)分别表示图像在以(x,y)为中心的某邻域内的亮度最大值和最小值。类似于图像梯度，它对图像的亮度变化非常敏感，当文本像素位于较亮的背景区域时，其局部对比度较大，当文本像素位于较暗的背景区域时，则局部对比度将变小。为了补偿其对图像亮度变化产生的影响，Su等人采用Herk局部图像对比度定义

$C(x,y)=\frac{I_{max}(x,y)-I_{min}(x,y)}{I_{\max }(x,y)+I_{min}(x,y)}$

但其忽略了图像邻域内的非极值像素对图像局部对比度的归一化贡献。

为了解决这个问题，本发明定义图像的局部对比度为：

$C(x,y)=\frac{I_{max}(x,y)-I_{min}(x,y)}{I_{mean}(x,y)}$

式中I_max(x,y)、I_min(x,y)和I_mean(x,y)分别表示图像在其坐标(x,y)处的3×3邻域内亮度的最大值、最小值和平均值。

本发明定义的局部对比度，不仅能够补偿图像亮度变化产生的影响，还综合考虑了图像邻域内所有像素对图像局部对比度的归一化贡献。

4)Otsu全局最优阈值化；

局部对比度图像明显改善了原始文档图像的直方图特性，使其具有相对显著的双峰模态，因此可以采用经典的Otsu算法对其进行全局最优阈值化处理，从而实现高对比度的字符笔画像素检测。

对于一幅图像，记t∈[0,L-1]为前景与背景的分割阈值，p_i表示其归一化直方图，如果前景像素占图像比例为前景像素平均灰度值为背景像素占图像比例为背景像素平均灰度值为图像总体平均灰度值为则确定全局最优阈值的准则是使经阈值处理后的前景与背景像素类的类间方差 ${\mathrm{\σ}}_B^2\left(t\right)={\mathrm{\ω}}_0\left(t\right){\[{\mathrm{\μ}}_0\left(t\right)-{\mathrm{\μ}}_T\]}^2+{\mathrm{\ω}}_1\left(t\right){\[\mathrm{\μ}\left(t\right)-{\mathrm{\μ}}_T\]}^2$ 最大。

图4为局部对比度图像，经本发明Otsu全局最优阈值化处理后的图像如图5所示，由图5和图4对比可见前景边缘绝大部分像素都被标记出来。

5)字符笔画宽度估计；

基于邻域窗的算法性能依赖于邻域窗尺寸大小及字符笔画粗细等因素，并且这些因素之间也是相关的，即文档字符笔画粗(或细)，对应的邻域窗尺寸则大(或小)。因此，确定邻域窗尺寸大小也就转化为笔画宽度估计问题。

研究人员目前主要采用行程长度、法向量、轮廓比例、频谱等方法来估计笔画宽度。本发明采用对图像分辨率变化具有鲁棒性的轮廓比例法进行笔画宽度估计。采用Canny算子对步骤4)所得的二值图像进行边缘检测，并分别统计所有字符前景像素数n_fg和字符边缘像素数n_edge，计算轮廓比例系数并由此估计字符笔画宽度。

6)图像局部二值化；采用滑动窗口法进行图像局部的精细二值化。

由于邻域窗的尺寸不能小于字符笔画宽度，同时考虑到实时计算量，本发明建议将邻域窗的尺寸大小设为字符笔画宽度的2-5倍。

经过全局最优阈值化方法检测出的像素点大多位于字符笔画边缘附近，且图像前景像素的灰度值应接近或略低于这些被检测出的像素平均灰度，因此，一旦这些“种子”像素点被正确检测出来，就能够精细地从原始文档图像中将字符前景与页面背景分割，其计算公式为

其中I(x,y)为(x,y)处的像素灰度值，μ_s(x,y)和σ_s(x,y)分别表示以(x,y)为中心的邻域内所有“种子”像素的灰度平均值和标准偏差，常数k的取值范围为0-1。

例1、图5的图像经本发明局部精细二值化后输出的图像见图6，由图6和图5的对比可见前景笔画像素已正确标记出来，不再是空心字。

例2、图7所示为具有墨迹浸润的扫描文档图，经本发明二值化后输出的图像见图8，由图8和图7的对比可见纸张反面浸润的笔画痕迹已基本去除。

例3、图9所示为具有纹理背景的扫描文档图，经本发明二值化输出的文档图见图10，由图10和图9的对比可见纸张背景纹理基本被清除。

例4、图11所示为具有页面污渍、泛黄的扫描文档图，经本发明二值化输出的文档图见图12，由图12和图11的对比可见页面局部污渍已完全清除。

Claims (4)

1.基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，其特征在于：具体步骤如下：

1)获取扫描文档图像；

2)彩色图像灰度化；

采用最小均值法对彩色文档图像u(x,y)进行灰度化处理，计算公式为：

$u_{gray}(x,y)=\frac{1}{2}\[\underset{i}{min}\left(u_i\right(x,y\left)\right)+\frac{1}{3}\underset{i}{\Σ}{u}_i(x,y)\]$

式中，u_i(x,y)分别为R、G、B彩色分量图像，u_gray(x,y)为变换后的灰度图像；

3)图像局部对比度检测；

定义图像的局部对比度为：

$C(x,y)=\frac{I_{max}(x,y)-I_{min}(x,y)}{I_{mean}(x,y)}$

式中，I_max(x,y)、I_min(x,y)和I_mean(x,y)分别表示图像在其坐标(x,y)处的3×3邻域内亮度的最大值、最小值和平均值；

4)Otsu全局最优阈值化；

记t∈[0,L-1]为前景与背景像素的分割阈值，p_i表示其归一化直方图，

前景像素占图像比例为前景像素平均灰度值为

背景像素占图像比例为背景像素平均灰度值为 ${\mathrm{\μ}}_1\left(t\right)=\underset{i=t+1}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i/{\mathrm{\ω}}_1\left(t\right);$

图像总体平均灰度值为则确定全局最优阈值的准则是使经阈值处理后的前景与背景像素的类间方差 ${\mathrm{\σ}}_B^2\left(t\right)={\mathrm{\ω}}_0\left(t\right){\[{\mathrm{\μ}}_0\left(t\right)-{\mathrm{\μ}}_T\]}^2+{\mathrm{\ω}}_1\left(t\right){\[{\mathrm{\μ}}_1\left(t\right)-{\mathrm{\μ}}_T\]}^2$ 最大；

5)字符笔画宽度估计；

采用Canny算子对步骤4)所得二值图像进行边缘检测，分别统计所有字符前景像素个数n_fg和字符边缘像素个数n_edge，计算轮廓比例并由此估计字符笔画宽度；

6)图像局部二值化；

将邻域窗尺寸大小设为字符笔画宽度的2-5倍，采用滑动邻域法对图像进行局部二值化处理，计算公式为：

式中，I(x,y)为(x,y)处的像素灰度值，μ_s(x,y)和σ_s(x,y)分别表示以(x,y)为中心的w×w邻域内所有已标记为前景像素的灰度平均值和标准偏差，常数k取值范围为0-1。

2.根据权利要求1所述的基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，其特征在于：步骤2)中采用的最小均值法对彩色图像进行灰度化，所得灰度图像具有彩色无关性。

3.根据权利要求1所述的基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，其特征在于：步骤3)中定义的局部对比度，不仅能够补偿图像亮度变化产生的影响，还综合考虑了图像邻域内所有像素对图像局部对比度的归一化贡献。

4.根据权利要求1所述的基于局部对比度和笔画宽度估计的低质量文档图像二值化方法，其特征在于：步骤6)采用滑动窗口法进行图像局部的精细二值化。