CN108921172A - 基于支持向量机的图像处理装置及方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的图像处理装置。该装置包括：图像块获取模块，用于获取图像块；特征提取模块，提取图像块特征，得到特征向量，包括：第一提取单元，第二提取单元，第三提取单元，以及第四提取单元；图像识别模块，基于邻近算法，从低级别到高级别，根据某一级别中是否存在大于该级别预先设置的阈值的置信分数识别该图像块是否正常；图像分类模块，基于支持向量机对图像分类；数据处理模块，对识别出的图像块数目和分类出的图像块数目进行处理，完成图像的识别和分类。本发明还公开了一种基于支持向量机的图像处理方法。本发明可以快速、准确的完成图像识别与分类，提高了识别和分类的准确性，可应用于病理组织图片处理。

Description

基于支持向量机的图像处理装置及方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于支持向量机的图像处理装置及方法。

背景技术

随着多媒体等技术的发展，图像资源日益丰富，而且，相对于文本资源，图像中包含的信息往往能够为用户提供更多的数据量，因此，对图像进行分析管理，成为目前研究的一个热点。目前，在对图像分析管理的过程中，经常需要对图像分类，即根据图像信息中所反映的不同特征，把图像划分为相应的类别。

目前医疗领域在对图像识别分类时，主要通过经验丰富的组织病理学家对微观视野下的病理切片进行识别、分类及评估，而该种对图像的识别与分类方式，在某些情况下存在各种干扰，会造成图像识别不准确，降低图像分类的准确性。因此，提高图像处理速度、提高图像处理的准确率已经成为当今发展趋势。

发明内容

基于上述缺陷，本发明的目的在于提供一种基于支持向量机的图像处理装置，该装置通过各模块之间配合进行图片处理，可提高图像识别和分类的准确性。

本发明的另一目的在于提供一种基于支持向量机的图像处理方法。

上述目的是通过以下技术方案实现的：

根据本发明的一个方面，本发明提供的一种基于支持向量机的图像处理装置，包括：

图像块获取模块，用于获取图像块；

特征提取模块，用于提取图像块的特征，得到图像块特征向量；所述特征提取模块包括：第一提取单元，用于图像识别时，对图像块进行局部二进制式特征提取；第二提取单元，用于图像识别时，对图像块进行灰度共生矩阵特征提取；第三提取单元，用于图像分类时，对图像块进行分形特征提取；第四提取单元，用于图像分类时，对图像块进行方向梯度直方图特征提取；

图像识别模块，将图像块特征向量输入，基于邻近算法，从低级别到高级别进行图像块识别，识别时，根据某一级别中是否存在大于该级别预先设置的阈值的置信分数来识别该图像块是否正常；

图像分类模块，根据支持向量机对图像块进行分类；

数据处理模块，包括：第一处理单元，对图像识别模块识别出的图像块数目进行处理完成图像的识别，以及第二处理单元，对图像分类模块分类出的图像块数目进行处理完成图像的分类。

优选地，所述图像块获取模块，包括：第一图像块获取单元，用于获取进行图像识别时的图像块，在所述第一图像块获取单元中，根据图像块的分辨率对图像块进行分级处理，得到分级采样后图像块；第二图像块获取单元，局域无重叠方式获取图像分类时的图像块。

更优选地，所述图像块获取模块，包括背景图像块标记单元，根据图像块的红黄蓝三通道值均大于200的像素数目所占总像素数目的比例来标记。

优选地，所述特征提取模块还包括归一化处理单元，所述第一提取单元和所述第二提取单元提取特征后做归一化处理再进行连接，得到用于图像识别时的图像块特征向量。其中，归一化处理针对提取到的一张图像块的特征[f1,f2,……，fN]，其中N表示提取出的特征的维数，归一化后的各维的值

其中，min_i是数据集里面的第i维的最小值，max_i就是数据集里面第i维的最大值。

优选地，所述图像识别模块中，最低级别预先设置的阈值为0.9，每升高一个级别阈值减少0.1。

更优选地，所述图像识别模块进行识别时，若在一个级别，存在大于该级别预先设置的阈值的置信分数，则为有效识别图像块，标记该图像块类别；若在一个级别，不能以大于该级别预先设置的阈值的置信分数识别该图像块，则到该级别的下一级别进行特征提取及识别，若没有下一级别，则标签未确定；若在最高级，仍不能以大于该级别预先设置的阈值的置信分数识别该图像块，则该图像块为无效识别图像块。

优选地，所述第一处理单元中，如果某一类别的有效识别图像块数目在总图像块数目中所占比例大于50％，则该图片就识别为该类别。

更优选地，所述第二处理单元，是根据在某一类中判别图像块数目是否达到了该类相应级别且是最大的，来确定图片是否分类到该类别。

优选地，还包括参数选取模块，参数选取模块，用于确定图像识别模块和图像分类模块中的参数。

根据本发明的另一个方面，本发明提供的一种采用上述基于支持向量机的图像处理装置进行图像处理的方法，包括：图像识别和图像分类，其中，

图像识别包括以下步骤：获取图像块，对其进行分级采样；在各级别下分别进行局部二进制模式特征和灰度共生矩阵特征的提取；对提取后特征并做归一化处理，连接后得到图像块特征向量；针对每一个图像块特征向量，从低级别到高级别，基于邻近算法进行图像识别；

图像分类包括以下步骤：对图片采取无重叠方式获取图像块；输入图像块，提取分形特征和方向梯度直方图特征；基于支持向量机进行分类，其中支持向量机的核函数为径向基函数；再基于投票机制得到图片分类结果。

有益效果：

本发明特征提取模块中第一提取单元和第二提取单元对分级采样后的图像块进行局部二进制模式特征(LBP特征)提取特征和灰度共生矩阵特征(Haralick特征)提取，得到的特征向量再通过图像识别模块基于邻近算法，也就是K近邻算法(K NearestNeighbors，KNN)，从低级别到高级别进行图像的识别，提高了图像识别的准确性；第三提取单元和第四提取单元对经无重叠方式获取的图像块进行分形特征(HOG特征)提取和方向梯度直方图特征(HOG特征)提取，后基于支持向量机(Support Vector Machine，SVM)，进行图像分类，分类效果好，提高了图像分类的准确性。

本发明的图像处理装置及方法可以快速、准确的完成图像的识别与分类，将本发明应用于相关组织病理图片处理时，可为病理学家提供大量提供相关症状类型、相关症状分级信息等大量信息，在临床医疗上有很大的实用价值。实验结果表明，本发明对单个图像块的分类准确率可以达到95.27％；正常类的准确率可达91.12％，炎症类的准确率在68.07％，目标症状类的准确率为56.59％。

附图说明

图1是本发明基于支持向量机的图像处理装置的结构示意图；

图2是本发明装置在进行图像处理时的图像识别示意图；

图3是本发明装置在进行图像处理时的图像分类示意图；

图4是本发明装置在进行图像处理时的训练集特征提取流程示意图；

图5是本发明装置在进行图像处理后的初步效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述：

其中，图1示意性地示出了本发明基于支持向量机的图像处理装置的结构示意图；图2示意性地示出了采用本发明图像处理装置进行图像识别的过程；图3示意性地示出了采用本发明图像处理装置进行图像分类的过程；图4示意性地示出了采用本发明图像处理装置进行训练集样本特征提取流程图；图5示意性地示出了采用本发明图像处理装置进行图像处理后的初步效果图，其中，右下角小图是系统用于显示病理组织图片缩略图的，而大图则是表示可以对病理组织图片进行显示，包括针对特定部位进行放大显示以便看清细节、并可方便标注出病变的部位。

如图1所示，本发明提供的一种基于支持向量机的图像处理装置，包括：图像块获取模块100，用于获取图像块，包括训练集图像块和样本集图像块；特征提取模块200，用于提取图像块的特征，得到图像块特征向量；所述特征提取模块200包括：第一提取单元210，用于图像识别时，对分级采样后的图像块进行局部二进制式特征提取；第二提取单元220，用于图像识别时，对分级采样后的图像块进行灰度共生矩阵特征提取；第三提取单元230，用于图像分类时，对经无重叠方式获取的图像块进行分形特征提取；第四提取单元240，用于图像分类时，对经无重叠方式获取的图像块进行方向梯度直方图特征提取；图像识别模块300，将得到的用于图像识别的图像块特征向量输入，基于邻近算法，从低级别到高级别进行图像块识别，识别时，根据某一级别中是否存在大于该级别预先设置的阈值的置信分数来识别该图像块是否正常；图像分类模块400，对于得到的用于图像分类的图像块特征向量，基于支持向量机对图像块进行分类；数据处理模块500，包括：第一处理单元510，对图像识别模块300识别出的图像块数目进行处理完成图像的识别，以及第二处理单元520，对图像分类模块400的分类出的图像块数目进行处理完成图像的分类。

该装置中通过第一提取单元210的局部二进制模式特征(LBP特征)提取和第二提取单元220的灰度共生矩阵特征(Haralick特征)提取后，再通过基于邻近算法，也就是K近邻算法(K Nearest Neighbors，KNN)，从低级别到高级别进行图像的识别；通过第三提取单元230的分形特征(HOG特征)提取和第四单元240的方向梯度直方图特征(HOG特征)提取后，再基于支持向量机(Support Vector Machine，SVM)，进行图像分类，具有图像识别和分类的速度快，准确率高的优点。

在一个可选实施例中，所述图像块获取模块100，包括：第一图像块获取单元，用于获取进行图像识别时的图像块，在所述第一图像块获取单元中，根据图像块的分辨率对图像块进行分级处理，得到分级采样后图像块；第二图像块获取单元，基于无重叠方式获取图像分类时的图像块；背景图像块标记单元，根据图像块的红黄蓝三通道值均大于200的像素数目所占总像素数目的比例来标记。进一步地，所述第一提取单元210和所述第二提取单元220提取特征后做归一化处理再进行连接，得到用于图像识别时的图像块特征向量。

在一个可选实施例中，所述图像识别模块300中，最低级别预先设置的阈值为0.9，每升高一个级别阈值减少0.1。在识别时，若在一个级别，存在大于该级别预先设置的阈值的置信分数，则为有效识别图像块，标记该图像块类别；若在一个级别，不能以大于该级别预先设置的阈值的置信分数识别该图像块，则到该级别的下一级别进行特征提取及识别，若没有下一级别，则标签未确定；若在最高级，仍不能以大于该级别预先设置的阈值的置信分数识别该图像块，则该图像块为无效识别图像块。

在一个可选实施例中，所述数据处理模块500中，所述第一处理单元中，如果某一类别的有效识别图像块数目在总图像块数目中所占比例大于50％，则该图片就识别为该类别。是根据在某一类中判别图像块数目是否达到了该类相应级别且是最大的，来确定图片是否分类到该类别。

在一个可选实施例中，该装置还包括参数选取模块，参数选取模块，用于确定图像识别模块300和图像分类模块400中的参数。其中，经交叉验证，邻近算法中K值为27，支持向量机的核函数为径向基函数，其中参数C为10，参数gamma为0.01。

如图2-4所示，本发明提供的一种采用上述基于支持向量机的图像处理装置进行图像处理的方法，包括：图像识别和图像分类，其中，图像识别包括以下步骤：获取图像块，对其进行分级采样；在各级别下分别进行局部二进制模式特征和灰度共生矩阵特征的提取；对提取后特征并做归一化处理，连接后得到图像块特征向量；针对每一个图像块特征向量，从低级别到高级别，基于邻近算法进行图像识别；图像分类包括以下步骤：对图片采取无重叠方式获取图像块；输入图像块，提取分形特征和方向梯度直方图特征；采用支持向量机进行分类，其中支持向量机的核函数为径向基函数；基于投票机制得到图片分类结果。

下面对采用本发明基于支持向量机的图像处理装置进行图像处理的过程进行详细描述：

图像识别过程：

1)训练集的特征提取

训练样本为已知类别的样本，由于采用非参数的K近邻算法，因此模型不需要训练，但是需要训练样本作为比较的标准，其中，图4是提取训练样本作为后面的图像块分类标准时的一个流程图，也是在进行图像块分类提取各级别特征的过程，包括对图像块进行多级别图片金字塔采样，经颜色空间转换进行特征提取，得到集合[f1,f2,……，fN]，其中N表示提取出的特征的维数，然后进行特征选择，得到集合[f1,f2,……，fsn]，其中sn表示表示进行特征选择后选择出的特征的维数。具体过程如下：

每一张病理组织图片占用存储空间可达几吉比特(Gb)，首先，从原始病理组织图片获取896×896像素大小的训练图像块，步长为四分之一图像块宽度，其中，在提取图像块的时候，如果一个图像块的RGB(红黄蓝)三颜色通道值均大于200的像素数目超过总像素数目的70％，则该图像块就作为背景图像块舍弃。

然后，提取LBP特征和Haralick特征。提取特征前需对图像块分级采样，本发明中采用多级别图片金字塔采样，依次对图像块进行3、2、1、0次下采样(对应级别为0，1，2，3)，所述“下采样”实际是一个图像块操作，就是按照最近邻插值、或者双线性插值或者其他的插值方式将图片的尺寸缩小一半，对应到实际实现的时候，就是一个python函数。这样就是0级别下，调用该函数3次(或者“下采样”操作执行3次)，1级别下，调用该函数2次(或者“下采样”操作执行2次)，依次类推。在这些级别下，经颜色空间转换分别提取LBP特征和Haralick特征，提取这些特征是调用了开源的算法库里面的函数进行实现的。

接着，分别对LBP特征和Haralick特征做归一化处理，归一化操作是按照以下公式进行：针对提取到的一张图像块的特征[f1,f2,……，fN]，N表示提取出的特征的维数，归一化后的各维的值如下：

其中，min_i是数据集里面的第i维的最小值，max_i就是数据集里面第i维的最大值；

归一化处理再进行连接，最后训练样本中每一张图像块表达为4×1×73维矩阵。

2)新样本集的特征提取

新样本为未知类别的样本，其特征提取方法与训练集特征提取方法相同，对每一张几吉比特的病理组织图片，以一定的步长，二分之一图像块宽度，获得很多的同样大小的图像块儿，获取图像块过程中同样也需要标记背景像素，若背景像素比例大于70％，则标记为背景图片不再处理，若不大于70％，则从最低分辨率开始进行LBP特征和Haralick特征的提取。这样，新样本的一张病理组织图片可以表示为4×m×73维矩阵，其中，m表示图像块的数目。

3)K近邻算法中K值的选取

经过5-fold交叉验证，K值选为27。

4)K近邻算法进行识别标记

K近邻算法的思路是：给定一个训练集，对新样本输入实例，在训练集中找到与该新样本实例最邻近的K个实例(也就是特征空间中最相似)，这K个实例中的大多数属于某一个类别，就把该新样本输入实例分类到这个类别中。本发明K近邻算法中公式如下：

本发明中的K近邻算法的具体识别标记过程：

针对新样本矩阵中的每一个4×1×73维向量，从低级别到高级别，采用K近邻算法进行图像块的识别，如图2所示。

ⅰ)若在一个级别，K近邻算法分类器若有大于该级别预先设置的阈值的置信分数，则为有效识别图像块，标记该图像块类别，即标记为正常或异常(即目标症状)。

ⅱ)若在一个级别，不能以大于该级别预先设置的阈值的置信分数识别该图像块，则到该级别的下一更高级别进行特征提取及识别，若没有下一更高级别，则标签未确定，该图像块为无效识别图像块。

ⅲ)若在最高级，仍不能以大于该级别预先设置的阈值的置信分数识别为相应的类别，则该图像块为无效识别图像块，最后判断病理组织图片的类别时不计该图像块的贡献。

其中，预先设置的阈值为每一级别预先设置的置信分数最小值。

本发明中，初始级别的置信分数最小值设置为0.9，每升高一个级别，置信分数最小值减少0.1。也就是，在第0级别，置信分数最小值(或者阈值)需要为0.9，第1级别最小值需要为0.8，以后每增加一个级别，置信分数最小值减少0.1。例如，在进行ⅰ)步骤时，第0级别需要满足置信分数大于0.9，第1级别需要满足置信分数大于0.8，才标记该图像块类别，否则按照ⅱ)和ⅲ)步骤进行识别。

5)识别结果判断

如果某一类别的有效判断图像块数目为m_correct，总的图像块数目为m_all，其比率超过50％，则该病理组织图片就识别为该类别。

图像分类过程如图3所示：

本发明中，图像分类特征提取与图像识别特征提取有差别，具体分类过程如下：其中，提取训练集的时候图片类别已知，训练好分类模型之后进行图片分类的时候图片类别未知。

11)训练集的特征提取

首先，针对一张大的病理组织图片，采取无重叠的方式获取384×384的图像块，图像块获取过程中，需要丢弃背景图像块，背景图像块判别方式和k近邻算法的方式一样，若背景像素比例大于70％，标记为背景图片，不再处理。

然后，对获取的图像块，进行分形特征提取和方向梯度直方图描述子特征的提取，其中，方向梯度直方图描述子特征和分形特征的提取都采用了开源算法库里面的函数，提取的每一张图像块表达为1×44维向量。

12)未知类别的病理组织图片特征提取

对于一块病理组织图片，特征提取方法与步骤11)的特征方法类似，经过获取图像块以及特征提取后，每一张病理组织图片表达为m×44维矩阵，其中，m为图像块的数目。

13)超参数选取

采用支持向量机进行图像分类，支持向量机的核函数选为径向基函数，因此需要选择较好的C值和gamma，经过3-fold交叉验证，参数C为10，参数gamma为0.01，其中，参数C与gamma是支持向量机的参数，在训练支持向量机后把这些参数设置为固定值。

14)图像分类

采用支持向量机进行分类，基于投票机制得到图像类别。

如果判断的类别中有一类的判别图像块数目达到了m_class且是最大的，每一类都有m_class，代表分类为该类的图像块的数目，那么病理组织图片就判断为该类别，在步骤12)的病理组织图片上进行标记。

本发明在局部二进制模式特征提取和灰度共生矩阵特征提取的基础上进行基于K近邻算法的图像识别，然后在采用分形特征提取和方向梯度直方图特征提取的基础上进行基于支持向量机的图像分类，可以快速、准确的完成图像的识别与分类，对单个图像块的分类准确率可以达到95.27％；本发明应用于病理组织图片的处理，可以为组织病理学家提供大量信息，试验结果显示，对每一张病理组织图片分类时，正常图像类的分类准确率为91.12％，炎症图像类的分类准确率68.07％，目标症状图像类的分类准确率为56.69％，本发明应用于病理组织图片的处理在临床医疗上有很大的实用价值，辅助病理医生对病理组织图片进行识别，提供目标症状类型，目标症状分级等信息，便于目标症状的治疗方式的选择以及预后，可以帮助病理组织医生提高判断准确率。

以上结合附图对本发明优选实施例进行了描述，但本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式，这些均属于本发明保护范围之内。

Claims (10)

1.一种基于支持向量机的图像处理装置，其特征在于，包括：

图像块获取模块，用于获取图像块；

特征提取模块，用于提取图像块的特征，得到图像块特征向量；所述特征提取模块包括：第一提取单元，用于图像识别时，对图像块进行局部二进制式特征提取；第二提取单元，用于图像识别时，对图像块进行灰度共生矩阵特征提取；第三提取单元，用于图像分类时，对图像块进行分形特征提取；第四提取单元，用于图像分类时，对图像块进行方向梯度直方图特征提取；

图像识别模块，将图像块特征向量输入，基于邻近算法，从低级别到高级别进行图像块识别，识别时，根据某一级别中是否存在大于该级别预先设置的阈值的置信分数来识别该图像块是否正常；

图像分类模块，基于支持向量机对图像块进行分类；

数据处理模块，包括：第一处理单元，对图像识别模块识别出的图像块数目进行处理完成图像的识别，以及第二处理单元，对图像分类模块分类出的图像块数目进行处理完成图像的分类。

2.如权利要求1所述的基于支持向量机的图像处理装置，其特征在于，所述图像块获取模块，包括：第一图像块获取单元，用于获取进行图像识别时的图像块，在所述第一图像块获取单元中，根据图像块的分辨率对图像块进行分级处理，得到分级采样后图像块；第二图像块获取单元，基于无重叠方式获取图像分类时的图像块。

3.如权利要求2所述的基于支持向量机的图像处理装置，其特征在于，所述图像块获取模块，包括背景图像块标记单元，根据图像块的红黄蓝三通道值均大于200的像素数目所占总像素数目的比例来标记。

4.如权利要求1所述的基于支持向量机的图像处理装置，其特征在于，所述特征提取模块，还包括归一化处理单元，所述第一提取单元和所述第二提取单元提取特征后做归一化处理再进行连接，得到图像块的特征向量，其中，归一化处理针对提取到的一张图像块的特征[f1,f2,……，fN]，其中N表示提取出的特征的维数，归一化后的各维的值为：

其中，min_i是数据集里面的第i维的最小值，max_i是数据集里面第i维的最大值。

5.如权利要求1所述的基于支持向量机的图像处理装置，其特征在于，所述图像识别模块中，最低级别预先设置的阈值为0.9，每升高一个级别阈值减少0.1。

6.如权利要求5所述的基于支持向量机的图像处理装置，其特征在于，所述图像识别模块进行识别时，若在一个级别，存在大于该级别预先设置的阈值的置信分数，则为有效识别图像块，标记该图像块类别；若在一个级别，不能以大于该级别预先设置的阈值的置信分数识别该图像块，则到该级别的下一级别进行特征提取及识别，若没有下一级别，则标签未确定；若在最高级，仍不能以大于该级别预先设置的阈值的置信分数识别该图像块，则该图像块为无效识别图像块。

7.如权利要求1所述的基于支持向量机的图像处理装置，其特征在于，所述第一处理单元中，如果某一类别的有效识别图像块数目在总图像块数目中所占比例大于50％，则该图片就识别为该类别。

8.如权利要求7所述的基于支持向量机的图像处理装置，其特征在于，所述第二处理单元，是根据在某一类中判别图像块数目是否达到了该类相应级别且是最大的，来确定图片是否分类到该类别。

9.如权利要求1所述的基于支持向量机的图像处理装置，其特征在于，该图像处理装置还包括参数选取模块，用于确定图像识别模块和图像分类模块中的参数。

10.一种采用权利要求1所述的基于支持向量机的图像处理装置进行图像处理的方法，其特征在于，包括：图像识别和图像分类，其中，

图像识别包括以下步骤：获取图像块，对其进行分级采样；在各级别下分别进行局部二进制模式特征和灰度共生矩阵特征的提取；对提取后特征做归一化处理，连接后得到图像块特征向量；针对每一个图像块特征向量，从低级别到高级别，基于邻近算法进行图像识别；

图像分类包括以下步骤：对图片采取无重叠方式获取图像块；输入图像块，提取分形特征和方向梯度直方图特征；基于支持向量机进行分类，其中支持向量机的核函数为径向基函数；再基于投票机制得到图片分类结果。