CN108109150B - 图像分割方法、终端 - Google Patents

Abstract

本发明公开了一种图像分割方法、终端。图像分割方法包括建立双边空间，双边空间包括空间域和特征域；在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为双边空间中的多个网格；对双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；将分组后的所有像素点映射回输入图像上以完成图像分割。本技术方案在分割主体的颜色与背景颜色存在渐变过渡的情况下，避免了欠分割的现象。进一步通过在像素空间的后处理，使得原本分布零散的像素点重新被划分到不同的分组中，使得最终分割的结果既保留了主体的完整性、独立性，又能够避免复杂背景分割过于零散。

Description

图像分割方法、终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分割方法、终端。

背景技术

图像分割是按照一定的规则将图像分成若干个具有独特性质区域的技术和过程。图像分割是图像识别和计算机视觉的关键步骤，在机器视觉、人脸识别、指纹识别、智能汽车或医学影像等最热门的领域都有广泛的应用。因此人们对于图像分割的研究很早就已经开始，并且开发出很多图像分割的方法。目前比较常用的图像分割技术有基于阈值的分割方法、基于边缘的分割方法、基于区域的分割方法和基于图论的分割方法。

基于阈值的分割方法一般是基于图像的灰度特征(或者颜色特征)来计算一个或者多个阈值,并且通过比较图像的每一个像素的灰度值和阈值来将该像素分类到合适的区域中。

基于边缘的分割方法是指找到图像中两个不同区域的边界线上的像素点的集合,其核心思想是利用图像的局部不连续性的特征。基于这一特性，一般使用微分算子来进行边缘检测，即使用一阶导数的极值与二阶导数的过零点来确定边缘，具体实现时一般使用图像与模板进行卷积来完成。

基于图论的分割方法是近年来图像分割领域的新研究热点。其思想是把图像转化为带权无向图，像素视为图的顶点，像素之间的差异性度量视为顶点之间的权重，采用不同的分割策略对图进行分割。其最优原则是使得分割后的子图内部相似度最大，而子图之间的相似度最小。

现有的图像分割方法都不能够应对所有的场景，相比较而言，目前基于图论的图像分割总体性能较好，但是因为其本身的性质，基于图论的图像分割在面对颜色渐变的图像时往往产生欠分割现象。因为基于图论的图像分割方法是每个像素点寻找与其差异度在一定范围内的相邻像素点，但是在颜色渐变的图像中这种差异度是不发生改变的，因此这种分割方式会将颜色渐变的部分分割到一个区域，即使这一区域的颜色绝对差异非常大。

在实际应用中当前景与背景之间有颜色的渐变存在时，基于图论的图像分割方式就会把背景和前景分割到一个区域中，造成欠分割的现象。

发明内容

本发明就是针对上述问题，提供了一种图像分割方法，包括如下步骤：

建立双边空间，所述双边空间包括空间域和特征域；

在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格；

对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；

将分组后的所有像素点映射回输入图像上以完成图像分割。

可选的，在将分组后的所有像素点映射回输入图像上以完成图像分割之后还包括：对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组。

可选的，所述对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组包括：将在空间域上直接相邻且在所述双边空间内被分组为一个区块的像素点分为一组；对各个分组中的像素点进行个数统计；根据统计结果，将两个直接相邻并且像素点个数都少于阈值的分组合并为一组，以及将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中。

可选的，所述将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中包括：对所述像素点个数少于阈值的分组中的所有像素点，分别统计在各个像素点的上下左右四个方向上与其他分组中像素点直接接触的次数；根据统计结果，将其他分组中与所述像素点个数少于阈值的分组中的所有像素点直接接触次数最多的分组作为融合母体；将所述像素点个数少于阈值的分组融合至所述融合母体中。

可选的，所述双边空间中的网格具有标号，标号的顺序是依照在空间域上对输入图像的所有像素点进行采样的顺序来确定的。

可选的，对所述双边空间中每个网格在空间域上寻找其相邻网格包括：对所述双边空间中每个网格在所述空间域的正方向上寻找其相邻网格。

可选的，所述特征值包括灰度值、RGB值或者YUV值中的任一种或任多种。

本发明实施例还提供了一种终端，包括：

图像处理器和存储器；其中，

所述存储器存储有程序指令，在所述图像处理器执行所述程序指令时，进行如下操作：

建立双边空间，所述双边空间包括空间域和特征域；

在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格；

对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；

将分组后的所有像素点映射回输入图像上以完成图像分割。

与现有技术相比，本发明技术方案至少具有以下有益效果：

本发明实施例将双边空间的概念引入图像分割处理中，先对输入图像中的像素点进行空间域和特征域的采样分组，使得特征值不同的像素点在特征域上分离开，形成一个个网格，然后对每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块，再将分组后的所有像素点映射回输入图像上，从而可以对图像中渐变的部分进行有效的分割，尤其是在分割主体的颜色与背景颜色存在渐变过渡的情况下，避免了欠分割的现象。

进一步，在经过图像分割后，通过在像素空间的后处理，使得原本分布零散的像素点重新被划分到不同的分组中，使得最终分割的结果既保留了主体的完整性、独立性，又能够避免复杂背景分割过于零散。

附图说明

图1是本发明的一种图像分割方法的流程示意图；

图2是本发明的一种建立三维的双边空间的示意图；

图3是本发明的双边空间对输入图像完成空间域和特征域采样划分为多个网格的示意图；

图4A是本发明中输入图像经过在双边空间内进行图像分割后又映射回输入图像中的分割结果的示意图；

图4B是在图4A基础上对像素点进行重新分组后的示意图；

图5是本发明中对像素点重新分组的像素空间的一个具体实例的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

如图1所示的是本发明的一种图像分割方法的流程示意图。参考图1，所述图像分割方法包括如下步骤：

步骤S1：建立双边空间，所述双边空间包括空间域和特征域；

步骤S2：在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格；

步骤S3：对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；

步骤S4：将分组后的所有像素点映射回输入图像上以完成图像分割。

在描述本发明实施例之前，先阐述下关于双边空间的概念。

双边指的是图像像素的空间参数和特征参数，这一概念是谷歌算法工程师在他的论文Real-time edge-aware image processing with the bilateral grid中提出的(Chen,J.,&Paris,S.(2007).Real-time edge-aware image processing with thebilateral grid.Acm Transactions on Graphics,26(3),103)。其思想是将图像中的像素点进行分组，分组的方式是分别在空间域和特征域上对像素点进行采样，其中，空间是指像素点所在图像中的平面二维坐标，即像素在图像长和宽方向上的坐标；特征可以是像素的灰度、RGB值或YUV值等。

在本发明实施例中将双边空间的概念引入至图像分割方法中。

具体来说，如步骤S1所述，建立双边空间，所述双边空间包括空间域和特征域。

在本实施例中，空间域即输入图像的平面二维坐标，特征域是根据输入图像的特征来确定的。例如，输入图像是灰度图，则特征域上的特征值即灰度值；例如，输入图像是RGB格式或者YUV格式的图像，并且在特征域的三个通道都进行采样，则特征域上的特征值为R、G、B三个值或Y、U、V三个值。

因此，本步骤中建立双边空间的维数是根据特征域上特征值的数量确定的，若特征域上的特征值仅灰度值一维，则双边空间是三维空间；若特征域上的特征值包括R、G、B三个值或Y、U、V三个值，则双边空间是五维空间。如图2所示的是一种三维的双边空间的示意图，其中XY平面即输入图像的空间域，Feature轴就是特征域，它可以是图像的灰度，也可以是RGB或者YUV的任一通道。

如步骤S2所述，在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格。

具体来说，首先在空间域上对输入图像的所有像素点分别在长和宽两个维度进行采样，例如可以从输入图像的左上角开始按行依次采样，然后根据每个像素点的不同特征值依次将其映射至特征域。

依照上述采样方式遍历完所述输入图像的所有像素点，这些像素点将会被分组至所述双边空间的多个网格中，每个网格所包含的像素点在空间域上是相邻较近的，在特征域上具有相似的特征值(例如，灰度值、RGB值或YUV值)。如图3所示的是一种在该双边空间对输入图像完成空间域和特征域采样划分为多个网格的示意图。

如步骤S3所述，对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块。

具体来说，在创建双边空间的网格过程中，每个网格都具有标号，标号的顺序是依照在空间域上对输入图像的所有像素点进行采样的顺序来确定的。在本步骤中，按照标号的顺序依次对每一个网格寻找其相邻网格，仅在空间域的正方向上进行寻找即可，并将该网格与其相邻网格分组为一个区块。遍历完所有的网格之后，相邻的网格便会相连在一起，并且特征值不同的像素点会出现在不同的特征域层，如图3所示。实际上，图像分割的过程就是在空间域寻找相邻网格的过程，寻找完成之后相邻的网格会被记录到一个区块中。

如步骤S4所述，将分组后的所有像素点映射回输入图像上以完成图像分割。由于本发明实施例只在空间域中将相邻的网格进行分组，处于一个特征层的网格不会与其他特征层的网格连接到一起，因此避免了对于渐变的图像分割时欠分割的问题。如图4A所示的是输入图像经过在双边空间内进行图像分割后又映射回输入图像中的分割结果，相邻的并且具有相似特征(灰度或颜色)的像素点被分割到了一个块中(图中1、2、3是区块的标号，不同区块内的像素点具有不同的特征)。

进一步地，发明人发现，由于上述图像分割方法是在空间域进行采样，使得不直接相邻的像素能够被分到一个块中，例如输入图像是一个9×9像素点的图像(即长和宽方向上都是9个像素)，采用上述图像分割方法，这81个像素点会被映射到双边空间内不同的网格中。其中，具有相似特征的像素点(例如相似灰度的像素点)映射到相同的网格中，但是这些像素不一定是直接相邻的(例如可能是第1个像素和第81个像素被映射到了一个网格中)。但是因为它们在一个网格中，分割之后它们就在同一个区块中了，因为不直接相邻，映射回输入图像中时，同一个区块中的像素点就可能不会直接相邻。如果图像的像素灰度或颜色分布很零散，即有相似颜色或灰度的像素点交错分布在输入图像中，这种现象会很明显。

而噪点一般认为是输入图像中与周围像素点颜色或者灰度明显不同的少量的像素点。例如，白色的墙面上有一个黑点，这样的情况下白墙可以认为是大片低纹理区域，黑点可以认为是噪点。在创建双边空间时，白色的像素点在一个网格中，黑色的点在一个网格中，但是包含黑色点的网格和包含白色点的网格在特征域中处于不同的层次，黑色点的网格找不到任何在空间域上与其相邻网格，那么黑色点的网格就会被认为是一个区块，映射回输入图像中后白色的区块中就会出现一个小的黑色的区块。这样会造成图像分割的结果平滑性较差。

因此，为了使图像分割的结果有较好的平滑性，在双边空间分割的基础上再进行一次像素空间的后处理，在双边空间分割的基础上对噪点和零散的像素点进行融合和合并。

在本实施例中，在像素空间的后处理包括如下步骤：

对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组。结合参考图4A和图4B所示，其中图4A是输入图像经过在双边空间内进行图像分割后又映射回输入图像中的分割结果。重新分组以后如图4B所示，处理之后输入图像的区块数量会增加，原本的紧密相连的较大的区块不会发生改变(如图4B中标号为1、2、3的区块与图4A中一样)，处于同一区块但分布零散的像素点被重新分到不同的区块中(如图4B中标号为4、5、6的区块是对图4A中标号为1的区块的重新分组标号，因为4、5、6区块内的像素点是在双边空间内被分组为1号区块但分布零散的像素点)。

具体来说，对像素点重新分组包括：

(1)将在空间域上直接相邻且在所述双边空间内被分组为一个区块的像素点分为一组；

(2)对各个分组中的像素点进行个数统计；

(3)根据统计结果，将两个直接相邻并且像素点个数都少于阈值的分组合并为一组，以及将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中。其中，所述阈值可以根据图像所要达到平滑程度来确定，在此不做限定。

在上述步骤(3)中，所述将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中包括：

对所述像素点个数少于阈值的分组中的所有像素点，分别统计在各个像素点的上下左右四个方向上与其他分组中像素点直接接触的次数；

根据统计结果，将其他分组中与所述像素点个数少于阈值的分组中的所有像素点直接接触次数最多的分组作为融合母体；

将所述像素点个数少于阈值的分组融合至所述融合母体中。

结合图5所示的对像素点重新分组的像素空间示意图来描述上述将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中的具体过程。

需要说明的是，在本实施例中，所述与像素点直接接触是指在一个像素点的上下左右四个方向上与该像素点直接相连的像素点，而不包括在该像素点的四个45度方向上相连的像素点。

参考图5，标号为0的像素点是将要被融合进其他区块的噪点像素，分别从上下左右四个方向进行统计，对于直接相邻的都是标号为1的像素点，与标号为0的像素点的直接相邻次数是13次。对于直接相邻的都是标号为2的像素点，与标号为0的像素点的直接相邻次数是2次。对于直接相邻的都是标号为3的像素点，与标号为0的像素点的直接相邻次数是9次。可以看出，与标号为0的像素点直接相邻且相邻次数最多的分组是标号为1的区块，因此标号为1号区块作为融合母体，之所以采用这种方式是使得噪点所在的像素与融合母体块有更多的接触，使得图像分割之后各区块之间的边界更平滑。经过像素空间的后处理，图像分割的平滑性和分割的合理性会得到较大提升。

本发明实施例还提供了一种终端，还终端包括：图像处理器和存储器；所述存储器存储有程序指令，在所述图像处理器执行所述程序指令时，执行上述方法实施例中的步骤操作，具体参考上文实施例，在此不再赘述。

综上所述，采用本发明技术方案，通过将双边空间的概念引入图像分割处理中，先对输入图像中的像素点进行空间域和特征域的采样分组，使得特征值不同的像素点在特征域上分离开，形成一个个网格，然后对每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块，再将分组后的所有像素点映射回输入图像上，从而可以对图像中渐变的部分进行有效的分割，尤其是在分割主体的颜色与背景颜色存在渐变过渡的情况下，避免了欠分割的现象。

进一步，在经过图像分割后，通过在像素空间的后处理，使得原本分布零散的像素点重新被划分到不同的分组中，使得最终分割的结果既保留了主体的完整性、独立性，又能够避免复杂背景分割过于零散。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种图像分割方法，其特征在于，包括如下步骤：

建立双边空间，所述双边空间包括空间域和特征域；

在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格；

对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；

将分组后的所有像素点映射回输入图像上以完成图像分割；在将分组后的所有像素点映射回输入图像上以完成图像分割之后还包括：

对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组；所述对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组包括：

将在空间域上直接相邻且在所述双边空间内被分组为一个区块的像素点分为一组；

对各个分组中的像素点进行个数统计；

根据统计结果，将两个直接相邻并且像素点个数都少于阈值的分组合并为一组，以及将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数个数最多的分组中。

2.如权利要求1所述的图像分割方法，其特征在于，所述将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数个数最多的分组中包括：

对所述像素点个数少于阈值的分组中的所有像素点，分别统计在各个像素点的上下左右四个方向上与其他分组中像素点直接接触的次数；

根据统计结果，将其他分组中与所述像素点个数少于阈值的分组中的所有像素点直接接触次数最多的分组作为融合母体；

将所述像素点个数少于阈值的分组融合至所述融合母体中。

3.如权利要求1所述的图像分割方法，其特征在于，所述双边空间中的网格具有标号，标号的顺序是依照在空间域上对输入图像的所有像素点进行采样的顺序来确定的。

4.如权利要求1所述的图像分割方法，其特征在于，对所述双边空间中每个网格在空间域上寻找其相邻网格包括：对所述双边空间中每个网格在所述空间域的正方向上寻找其相邻网格。

5.如权利要求1所述的图像分割方法，其特征在于，所述特征值包括灰度值、RGB值或者YUV值中的任一种或任多种。

6.一种终端，其特征在于，包括：

图像处理器和存储器；其中，

所述存储器存储有程序指令，在所述图像处理器执行所述程序指令时，进行如下操作：

建立双边空间，所述双边空间包括空间域和特征域；

在空间域上对输入图像的所有像素点进行采样，并基于不同的特征值将像素点映射至特征域，以将像素点划分为所述双边空间中的多个网格；

对所述双边空间中每个网格在空间域上寻找其相邻网格，并将该网格与其相邻网格分组为一个区块；

将分组后的所有像素点映射回输入图像上以完成图像分割；所述图像处理器执行所述程序指令时，进行如下操作：在将分组后的所有像素点映射回输入图像上以完成图像分割之后还包括：

对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组；所述图像处理器执行所述程序指令时，进行如下操作：所述对在双边空间上完成图像分割的所有像素点进行重新分组，以将在双边空间内被分组为一个区块但分布零散的像素点重新分组包括：

将在空间域上直接相邻且在所述双边空间内被分组为一个区块的像素点分为一组；

对各个分组中的像素点进行个数统计；

根据统计结果，将两个直接相邻并且像素点个数都少于阈值的分组合并为一组，以及将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中。

7.如权利要求6所述的终端，其特征在于，所述图像处理器执行所述程序指令时，进行如下操作：所述将像素点个数少于阈值的分组融合至与其直接相邻且像素点之间直接接触次数最多的分组中包括：

对所述像素点个数少于阈值的分组中的所有像素点，分别统计在各个像素点的上下左右四个方向上与其他分组中像素点直接接触的次数；

根据统计结果，将其他分组中与所述像素点个数少于阈值的分组中的所有像素点直接接触次数最多的分组作为融合母体；

将所述像素点个数少于阈值的分组融合至所述融合母体中。

8.如权利要求6所述的终端，其特征在于，所述双边空间中的网格具有标号，标号的顺序是依照在空间域上对输入图像的所有像素点进行采样的顺序来确定的。

9.如权利要求6所述的终端，其特征在于，所述图像处理器执行所述程序指令时，进行如下操作：对所述双边空间中每个网格在空间域上寻找其相邻网格包括：对所述双边空间中每个网格在所述空间域的正方向上寻找其相邻网格。

10.如权利要求6所述的终端，其特征在于，所述特征值包括灰度值、RGB值或者YUV值中的任一种或任多种。

Images