Nothing Special   »   [go: up one dir, main page]

CN105069774B - 基于多示例学习与图割优化的目标分割方法 - Google Patents

基于多示例学习与图割优化的目标分割方法 Download PDF

Info

Publication number
CN105069774B
CN105069774B CN201510375307.4A CN201510375307A CN105069774B CN 105069774 B CN105069774 B CN 105069774B CN 201510375307 A CN201510375307 A CN 201510375307A CN 105069774 B CN105069774 B CN 105069774B
Authority
CN
China
Prior art keywords
matrix
image
brightness
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510375307.4A
Other languages
English (en)
Other versions
CN105069774A (zh
Inventor
赵祥模
刘占文
高涛
安毅生
王润民
徐志刚
张立成
周洲
刘慧琪
闵海根
穆柯楠
李强
杨楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201510375307.4A priority Critical patent/CN105069774B/zh
Publication of CN105069774A publication Critical patent/CN105069774A/zh
Application granted granted Critical
Publication of CN105069774B publication Critical patent/CN105069774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多示例学习与图割优化的目标分割方法:步骤1:对训练图像采用多示例学习的方法进行显著模型建模,并利用显著模型对测试图像中的包和示例进行预测,得到测试图像的显著性检测结果;步骤2:将测试图像的显著性检测结果引入图割框架,依据示例特征矢量与示例包的标记对图割框架进行优化,求解图割优化的次优解,得到目标的精确分割。本发明采用多示例学习的方法建立显著性检测模型,使其适合特定种类的图像,并将显著性检测的结果用于基于图论的图像分割方法中以指导图像分割,对图割模型框架环节进行了优化,并采用凝聚层次聚类算法求解,使得分割结果能更好地符合语义感知的输出,得到精确的目标分割结果。

Description

基于多示例学习与图割优化的目标分割方法
技术领域
本发明属于图像处理领域,涉及一种图像分割方法,具体是一种基于多示例学习与图割优化的目标分割方法。
背景技术
图像目标分割是计算机视觉领域的一个重要研究方向,同时也是视觉检测、跟踪与识别等应用的重要基础,其分割质量的好坏在很大程度上影响着整个视觉系统的性能。然而由于缺乏对人类视觉系统的深层认识,图像分割同时也成为了计算机视觉领域的一个经典难题。人类视觉系统能够有选择地注意所观察场景的主要内容,而忽略其他次要内容。视觉的这种选择性注意机制使得高效的信息处理成为可能,同时也启发了计算机视觉的研究者们从注意机制的角度另辟蹊径,因此具有人类视觉特性的图像分割模型将成为图像分割领域一个新的研究热点。
从计算机视觉角度出发的显著性检测,其主要分为自底向上和自顶向下的方法。目前大多显著性检测是基于非监督模型,存在所定义的模型缺乏学习能力,显著度的计算不能很好地反映视觉注意机制,以及对特定种类的图像适应能力不足和鲁棒性较差等问题;而单一的采用基于代价函数的图割算法进行目标分割,也存在计算复杂度高、分割效率与局部分割精度低等问题。
发明内容
针对上述现有技术存在的不足,本发明的目的在于,提出了一种基于多示例学习与图割优化的目标分割方法,采用多示例学习的方法建立显著性检测模型,使其适合特定种类的图像,并将显著性检测的结果用于基于图论的图像分割方法中以指导图像分割,对图割模型框架等诸多环节进行了优化,并采用凝聚层次聚类算法作为图割优化的求解方法,使得分割结果能更好地符合语义感知的输出,得到精确的目标分割结果。
为了实现上述目的,本发明采用如下技术方案予以解决:
基于多示例学习与图割优化的目标分割方法,包括如下步骤:
步骤1:对训练图像采用多示例学习的方法进行显著模型建模,并利用显著模型对测试图像中的包和示例进行预测,得到测试图像的显著性检测结果;具体包括:
步骤11,对训练图像进行预处理,并提取图像亮度梯度特征和色彩梯度特征;
步骤12,将多示例学习引入到图像显著性检测中,得到测试图像的显著性检测结果;
步骤2:将测试图像的显著性检测结果引入图割框架,依据示例特征矢量与示例包的标记对图割框架进行优化,求解图割优化的次优解,得到目标的精确分割。
进一步的,所述步骤11中对训练图像进行预处理,并提取亮度梯度特征和色彩梯度特征,具体包括:
步骤111,对训练图像进行色彩空间的转换及其各分量的量化预处理,得到归一化后的亮度分量L和色彩分量a、b;
步骤112,计算亮度分量L的矩阵中每一个像素点的亮度梯度;
步骤113,分别计算色彩分量a和色彩分量b的矩阵中每一个像素点的色彩梯度。
3、如权利要求2所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤111具体如下:
首先,将训练图像进行伽马校正,以实现对图像色彩分量的非线性调整,将训练图像由RGB色彩空间转换至Lab色彩空间;再对训练图像在Lab色彩空间下的亮度分量L和两个色彩分量a、b进行归一化处理,得到归一化后的亮度分量L和色彩分量a、b。
进一步的,所述步骤112具体包括步骤A-D:
A、构建3个尺度的权值矩阵Wights<>;
B、构建3个尺度的索引地图矩阵Slice_map<>;每个尺度的索引地图矩阵Slice_map<>对应尺度的权值矩阵Wights<>具有相同的维度;选取8个方向(0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°)将矩阵分为16个区域,每个区域中元素的取值与该区域的编号0~15相同;
C、将每个索引地图矩阵Slice_map<>与其对应尺度的权值矩阵Wights<>中的元素一一对应相乘得到对应尺度的矩阵,即邻域梯度算子;
D、利用邻域梯度算子,计算亮度分量L的矩阵中一个待求像素点的亮度梯度;
进一步的,所述步骤A具体如下:
分别构建3个尺度的权值矩阵Wights<>;所述的权值矩阵Wights<>是行数和列数均等于2r+1的方阵;权值矩阵Wights<>中的元素非0即1,等于1的元素分布在以方阵中心元素(r+1,r+1)为圆心、以r为半径的圆盘范围内,形成方阵的内切圆,方阵中其余元素均为0;3个尺度分别为r=3、r=5和r=10。
进一步的,所述步骤D具体如下:
①对于某一个尺度,以步骤111得到的亮度分量L的矩阵中一待求像素点为中心,通过某一尺度的邻域梯度算子与待求像素点邻域范围内的每个亮度分量进行点乘,得到待求像素点邻域范围内的矩阵Neibor<>;选取竖直方向(90°)的直线作为分界线,将邻域梯度算子中的圆盘划分成左半圆和右半圆,左半圆包括第0扇区到第7扇区,右半圆包括第8扇区到第15扇区;每个半圆对应的矩阵Neibor<>的元素构成一个直方图并对其进行归一化,分别记为Slice_hist1<>和Slice_hist2<>;H1代表左边半圆区域所对应的直方图,H2代表右边半圆区域所对应的直方图,i为直方图的bin的取值,定义为[0,24],即亮度范围;
②通过式(1)所示的卡方距离计算两个归一化直方图之间的差异,即得到某一尺度下一个待求像素点的竖直方向上的亮度梯度;
在计算完某一尺度竖直方向上的亮度梯度之后,分别选取其他方向所在直线作为分界线,得到该待求像素点某一尺度所有其他方向上的亮度梯度;再根据步骤D同样的方式计算得到该待求像素点其他尺度上的所有方向的亮度梯度;当完成该待求像素点所有尺度所有方向上的亮度梯度计算后,由公式(2)计算得到该待求像素点的最终亮度梯度:
f(x,y,r,n_ori;r=3,5,10;n_ori=1,2,......8)->Brightness Gradient(x,y) (2)
式中,f为一映射函数,(x,y)为任一待求像素点,r表示选取的尺度,n_ori表示选取的方向;Brightness Gradient(x,y)为像素点(x,y)的最终亮度梯度;f的对应法则为选择每个方向在3个尺度中的最大亮度梯度值作为该方向上的亮度梯度值,将8个方向上的亮度梯度求和得到像素点(x,y)的最终亮度梯度。
进一步的,所述步骤113中,色彩梯度的计算与亮度梯度的计算类似,不同的是色彩梯度特征是针对两个色彩分量的色彩梯度a和b;选取的3个尺度分别为r=5、r=10和r=20;因此,相应的权值矩阵和地图索引矩阵的大小分别为11*11、21*21和41*41;两个色彩分量的色彩梯度的计算和亮度梯度采用相同的计算方法,得到色彩分量a和b矩阵中每个待求像素点的最终色彩梯度。
进一步的,所述步骤12中将多示例学习引入至图像显著性检测得到测试图像的显著性检测结果,具体包括步骤121和步骤122:
步骤121,利用步骤11中所述方法得到的亮度和色彩梯度特征,结合多示例学习EMDD算法实现对训练集的学习,得到学习好的显著性检测模型;
步骤122,将测试图像代入学习好的显著性检测模型,得到测试图像的显著性检测结果。
进一步的,所述所述的步骤2具体包括如下步骤:
步骤21,将步骤1得到的图像的显著性检测结果作为图割算法的输入,依据包的显著性标记与示例特征矢量构建如式(3)所示的权函数;并得到如式(4)所示的优化后的图割代价函数;
式(3)中,wij表示i示例包与j示例包对应区域的视觉特征相似性,Salien(i)与Salien(j)分别表示区域i与区域j归一化后的显著度值,σ为调节视觉特征差异的敏感参数,取值为10~20;区域i与其自身的相似权值为0;相似度矩阵W={wij}是对角线为0的对称矩阵,且wij∈[0,1];fi,fj表示i与j示例包中分别对应的示例特征矢量,即图像的亮度梯度特征与色彩梯度特征向量合成3维的组合向量Mixvectori={BrightnessGradienti,ColorGradienti},则Sim(fi,fj)=‖Mixvectori-Mixvectorj2。式(4)所表示的图割框架中,D为N维对角矩阵,其对角线上元素U={U1,U2,...,Ui,...,Uj,...UN}为分割状态向量,每一个向量分量Ui表示区域i的分割状态;式(4)的分子表示区域i与区域j之间的视觉相似性,分母表示区域i内的视觉相似性;
步骤22,求解R(U)的最小值特征值所对应的分割状态向量,即得到图像的最优分割结果。
附图说明
图1是本发明方法的流程图。
图2是测试图像通过多个方法进行分割的结果对比图。其中,子图(a‐1)至(a‐4)为原始的测试图像,子图(b‐1)至(b‐4)为基于多尺度图分解的谱分割算法的分割结果,子图(c‐1)至(c‐4)为直接采用凝聚层次聚类算法的分割结果,子图(d‐1)至(d‐4)为本发明方法的分割结果。
图3是圆盘左右分区示意图。
图4是H1,H2直方图示意图。
图5是改变圆盘分界线方向示意图。
以下结合附图与具体实施方式对本发明进一步解释说明。
具体实施方式
如图1所示,本发明的基于多示例学习与图割优化的目标分割方法,具体包括如下步骤:
步骤1:对训练图像采用多示例学习的方法进行显著模型建模,并利用显著模型对测试图像中的包和示例进行预测,得到测试图像的显著性检测结果;
步骤2:将测试图像的显著度引入图割框架,依据示例特征矢量与示例包的标记对图割框架进行优化,采用凝聚层次聚类算法求解图割优化的次优解,得到目标的精确分割。
进一步的,所述的步骤1包括步骤11和步骤12:
步骤11,对训练图像进行预处理,并提取图像亮度梯度特征和色彩梯度特征;
步骤12,将多示例学习引入到图像显著性检测中,得到测试图像的显著性检测结果。
进一步的,所述步骤11中对训练图像进行预处理,并提取亮度梯度特征和色彩梯度特征,具体包括步骤111~步骤113:
步骤111,对训练图像进行色彩空间的转换及其各分量的量化预处理,得到归一化后的亮度分量L和色彩分量a、b;具体如下:
首先,将训练图像进行伽马校正,以实现对图像色彩分量的非线性调整,将训练图像由RGB色彩空间转换至Lab色彩空间;再对训练图像在Lab色彩空间下的亮度分量L和两个色彩分量a、b进行归一化处理,得到归一化后的亮度分量L和色彩分量a、b;
步骤112,计算亮度分量L的矩阵中每一个像素点的亮度梯度。具体包括步骤A-D:
A、构建3个尺度的权值矩阵Wights<>。具体如下:
分别构建3个尺度的权值矩阵Wights<>;所述的权值矩阵Wights<>是行数和列数均等于2r+1的方阵;权值矩阵Wights<>中的元素非0即1,等于1的元素分布在以方阵中心元素(r+1,r+1)为圆心、以r为半径的圆盘范围内,形成方阵的内切圆,方阵中其余元素均为0;本发明中,3个尺度分别为r=3、r=5和r=10时,分别对应的权值矩阵Wights<>如下:
B、构建3个尺度的索引地图矩阵Slice_map<>;每个尺度的索引地图矩阵Slice_map<>对应尺度的权值矩阵Wights<>具有相同的维度,即每个索引地图Slice_map<>矩阵也是行数和列数都为2r+1的方阵;选取8个方向(0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°)将矩阵分为16个区域,每个区域中元素的取值与该区域的编号0~15相同;建立索引地图矩阵Slice_map<>的目的是为了实现对分区的快速定位。本发明中,3个索引地图矩阵Slice_map<>分别如下:
C、将每个索引地图矩阵Slice_map<>与其对应尺度的权值矩阵Wights<>中的元素一一对应相乘得到对应尺度的矩阵,即邻域梯度算子。3个尺度下的邻域梯度算子如下:
D、利用邻域梯度算子,计算亮度分量L的矩阵中一个待求像素点的亮度梯度。具体如下:
①对于某一个尺度,以步骤111得到的亮度分量L的矩阵中一待求像素点为中心,通过某一尺度的邻域梯度算子与待求像素点邻域范围内的每个亮度分量进行点乘,得到待求像素点邻域范围内的矩阵Neibor<>;选取竖直方向(90°)的直线作为分界线,将邻域梯度算子中的圆盘划分成左半圆和右半圆,左半圆包括第0扇区到第7扇区,右半圆包括第8扇区到第15扇区;每个半圆对应的矩阵Neibor<>的元素构成一个直方图并对其进行归一化,分别记为Slice_hist1<>和Slice_hist2<>;如图4所示。H1代表左边半圆区域所对应的直方图,H2代表右边半圆区域所对应的直方图,i为直方图的bin的取值,定义为[0,24],即亮度范围。
②通过式(1)所示的卡方距离计算两个归一化直方图之间的差异,即得到某一尺度下一个待求像素点的竖直方向上的亮度梯度;
在计算完某一尺度竖直方向上的亮度梯度之后,如图5所示,分别选取其他方向所在直线作为分界线,得到该待求像素点某一尺度所有其他方向上的亮度梯度;再根据步骤D同样的方式计算得到该待求像素点其他尺度上的所有方向的亮度梯度。当完成该待求像素点所有尺度所有方向上的亮度梯度计算后,由公式(2)计算得到该待求像素点的最终亮度梯度:
f(x,y,r,n_ori;r=3,5,10;n_ori=1,2,......8)->Brightness Gradient(x,y) (2)
式中,f为一映射函数,(x,y)为任一待求像素点,r表示选取的尺度,n_ori表示选取的方向;Brightness Gradient(x,y)为像素点(x,y)的最终亮度梯度;f的对应法则为选择每个方向在3个尺度中的最大亮度梯度值作为该方向上的亮度梯度值,将8个方向上的亮度梯度求和得到像素点(x,y)的最终亮度梯度;
步骤113,分别计算色彩分量a和色彩分量b的矩阵中每一个像素点的色彩梯度。具体如下:
色彩梯度的计算与亮度梯度的计算类似,不同的是色彩梯度特征是针对两个色彩分量的色彩梯度,即Lab色彩空间下的色彩分量a和b;与亮度梯度的计算不同之处在于,选取的3个尺度分别为r=5、r=10和r=20;因此,相应的权值矩阵和地图索引矩阵的大小分别为11*11、21*21和41*41;两个色彩分量的色彩梯度的计算和亮度梯度采用相同的计算方法,得到色彩分量a和b矩阵中每个待求像素点的最终色彩梯度。
进一步的,步骤12中将多示例学习引入至图像显著性检测得到测试图像的显著性检测结果,具体包括步骤121和步骤122:
步骤121,利用步骤11中所述方法得到的亮度和色彩梯度特征,结合多示例学习EMDD算法实现对训练集的学习,得到学习好的显著性检测模型。具体步骤如下:
首先采用超分割方法对训练图像进行区域分割,使每个区域包含的最小像素数目为200;每个区域被当作一个包,对每个区域进行随机采样,被采样的区域中的像素被当作示例,提取相应的亮度梯度特征与色彩梯度特征矢量作为采样示例特征矢量;根据采样示例特征矢量,采用多示例学习方法EMDD算法进行分类器的训练,得到学习好的显著性检测模型;
步骤122,将测试图像代入学习好的显著性检测模型,得到测试图像的显著性检测结果。
对每一幅测试图像,利用与步骤11相同的过程对测试图像进行预处理,得到亮度梯度特征和色彩梯度特征;然后采用超分割方法对测试图像进行区域分割,使每个区域包含的最小像素数目为200;将每个区域当作一个包并对每个区域进行随机采样,被采样的区域中像素被当作示例,提取相应的亮度梯度特征与色彩梯度特征矢量作为采样示例特征矢量,利用步骤121得到的学习好的显著性检测模型,得到显著的示例特征矢量和每个包的显著性,从而得到测试图像的显著性检测结果。
进一步的,所述的步骤2具体包括如下步骤:
步骤21,将步骤1得到的图像的显著性检测结果作为图割算法的输入,依据包的显著性标记与示例特征矢量构建如式(3)所示的权函数;并得到如式(4)所示的优化后的图割代价函数;
式(3)中,wij表示i示例包与j示例包对应区域的视觉特征相似性,Salien(i)与Salien(j)分别表示区域i与区域j归一化后的显著度值,σ为调节视觉特征差异的敏感参数,取值为10~20;区域i与其自身的相似权值为0;相似度矩阵W={wij}是对角线为0的对称矩阵,且wij∈[0,1];fi,fj表示i与j示例包中分别对应的示例特征矢量,即图像的亮度梯度特征与色彩梯度特征向量合成3维的组合向量Mixvectori={BrightnessGradienti,ColorGradienti},则Sim(fi,fj)=‖Mixvectori-Mixvectorj2。式(4)所表示的图割框架中,D为N维对角矩阵,其对角线上元素U={U1,U2,...,Ui,...,Uj,...UN}为分割状态向量,每一个向量分量Ui表示区域i的分割状态;式(4)的分子表示区域i与区域j之间的视觉相似性,分母表示区域i内的视觉相似性;
步骤22,采用凝聚层次聚类算法,求解R(U)的最小值特征值所对应的分割状态向量,即得到图像的最优分割结果。
其中,上述凝聚层次聚类算法是指专利申请号为201210257591.1的方法的步骤2和步骤3。
试验验证
为验证本发明方法的有效性,采用Achanta等人建立的数据库,选取其中的300张为训练图像,剩余700张为测试图像进行算法验证。列举部分实验结果如图2所示,图2分别给出了基于多尺度图分解的谱分割算法对测试图像的分割结果,专利申请号为201210257591.1的方法对测试图像的分割结果,以及采用本发明方法的分割结果。说明如下:
图2中子图(a‐1)至(a‐4)为原始图像,子图(b‐1)至(b‐4)为基于多尺度图分解的谱分割算法的分割结果,子图(c‐1)至(c‐4)为专利申请号为201210257591.1的方法,子图(d‐1)至(d‐4)为本发明方法。由实验结果可以得出,当背景相对复杂时,基于多尺度图分解的谱分割算法存在严重的误分与目标分割不完整现象,而专利申请号为201210257591.1的方法与本发明方法都具有较好的分割结果;当背景比较简单且与目标特征差异较大时,如原始图像(a‐1)与(a‐2),三种方法都能够分割出较为完整的目标;但在目标与背景边界过渡缓慢且差异极小的情况下,如原始图像(a‐3)与(a‐4),三种方法都存在不同程度的目标分割不完整,但本发明的方法与专利申请号为201210257591.1的方法的分割效果要更好一些,且本发明的方法在差异极小的目标与背景的交界处分割地更为精细,能够得到显著目标较为精确的分割结果。专利申请号为201210257591.1的方法的输入图像是原始图像,粗化的对象是从像素级开始的,虽然像素级图像较为精细,但处于计算量的考虑,直接采用亮度和色彩特征的图割方法在权函数定义时只考虑了灰度差异,而本发明方法结合多示例学习方法可以很快得到图像中的显著区域标记,且每个示例包中的示例特征矢量包含了反映目标信息的底层视觉特征和目标轮廓的中高层特征,在粗化伊始,就考虑了图像的全面特征为后续处理提供了较为准确的分割依据,因此当目标与背景边界过渡缓慢且差异极小的情况,依然能够得到较好的分割结果。对于大多数的测试图像,本发明方法的层次迭代次数少于专利申请号为201210257591.1的方法的迭代次数,大大降低了运算量与时间复杂度。

Claims (8)

1.一种基于多示例学习与图割优化的目标分割方法,其特征在于,包括如下步骤:
步骤1:对训练图像采用多示例学习的方法进行显著模型建模,并利用显著模型对测试图像中的包和示例进行预测,得到测试图像的显著性检测结果;具体包括:
步骤11,对训练图像进行预处理,并提取图像亮度梯度特征和色彩梯度特征;
步骤12,将多示例学习引入到图像显著性检测中,得到测试图像的显著性检测结果;
步骤2:将测试图像的显著性检测结果引入图割框架,依据示例特征矢量与示例包的标记对图割框架进行优化,求解图割优化的次优解,得到目标的精确分割;
所述的步骤2具体包括如下步骤:
步骤21,将步骤1得到的图像的显著性检测结果作为图割算法的输入,依据包的显著性标记与示例特征矢量构建如式(3)所示的权函数;并得到如式(4)所示的优化后的图割代价函数;
式(3)中,wij表示i示例包与j示例包对应区域的视觉特征相似性,Salien(i)与Salien(j)分别表示区域i与区域j归一化后的显著度值,δ为调节视觉特征差异的敏感参数,取值为10~20;区域i与其自身的相似权值为0;相似度矩阵W={wij}是对角线为0的对称矩阵,且wij∈[0,1];fi,fj表示i与j示例包中分别对应的示例特征矢量,即图像的亮度梯度特征与色彩梯度特征向量合成3维的组合向量Mixvectori={BrightnessGradienti,ColorGradienti},则Sim(fi,fj)=||Mixvectori-Mixvectorj||2;式(4)所表示的图割框架中,D为N维对角矩阵,其对角线上元素U={U1,U2,...,Ui,...,Uj,...UN}为分割状态向量,
每一个向量分量Ui表示区域i的分割状态;式(4)的分子表示区域i与区域j之间
的视觉相似性,分母表示区域i内的视觉相似性;
步骤22,求解R(U)的最小值特征值所对应的分割状态向量,即得到图像的最优分割结果。
2.如权利要求1所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤11中对训练图像进行预处理,并提取亮度梯度特征和色彩梯度特征,具体包括:
步骤111,对训练图像进行色彩空间的转换及其各分量的量化预处理,得到归一化后的亮度分量L和色彩分量a、b;
步骤112,计算亮度分量L的矩阵中每一个像素点的亮度梯度;
步骤113,分别计算色彩分量a和色彩分量b的矩阵中每一个像素点的色彩梯度。
3.如权利要求2所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤111具体如下:
首先,将训练图像进行伽马校正,以实现对图像色彩分量的非线性调整,将训练图像由RGB色彩空间转换至Lab色彩空间;再对训练图像在Lab色彩空间下的亮度分量L和两个色彩分量a、b进行归一化处理,得到归一化后的亮度分量L和色彩分量a、b。
4.如权利要求2所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤112具体包括步骤A-D:
A、构建3个尺度的权值矩阵Wights<>;
B、构建3个尺度的索引地图矩阵Slice_map<>;每个尺度的索引地图矩阵Slice_map<>对应尺度的权值矩阵Wights<>具有相同的维度;选取8个方向(0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°)将矩阵分为16个区域,每个区域中元素的取值与该区域的编号0~15相同;
C、将每个索引地图矩阵Slice_map<>与其对应尺度的权值矩阵Wights<>中的元素一一对应相乘得到对应尺度的矩阵,即邻域梯度算子;
D、利用邻域梯度算子,计算亮度分量L的矩阵中一个待求像素点的亮度梯度。
5.如权利要求4所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤A具体如下:
分别构建3个尺度的权值矩阵Wights<>;所述的权值矩阵Wights<>是行数和列数均等于2r+1的方阵;权值矩阵Wights<>中的元素非0即1,等于1的元素分布在以方阵中心元素(r+1,r+1)为圆心、以r为半径的圆盘范围内,形成方阵的内切圆,方阵中其余元素均为0;3个尺度分别为r=3、r=5和r=10。
6.如权利要求4所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤D具体如下:
①对于某一个尺度,以步骤111得到的亮度分量L的矩阵中一待求像素点为中心,通过某一尺度的邻域梯度算子与待求像素点邻域范围内的每个亮度分量进行点乘,得到待求像素点邻域范围内的矩阵Neibor<>;选取竖直方向(90°)的直线作为分界线,将邻域梯度算子中的圆盘划分成左半圆和右半圆,左半圆包括第0扇区到第7扇区,右半圆包括第8扇区到第15扇区;每个半圆对应的矩阵Neibor<>的元素构成一个直方图并对其进行归一化,分别记为Slice_hist1<>和Slice_hist2<>;H1代表左边半圆区域所对应的直方图,H2代表右边半圆区域所对应的直方图,i为直方图的bin的取值,定义为[0,24],即亮度范围;
②通过式(1)所示的卡方距离计算两个归一化直方图之间的差异,即得到某一尺度下一个待求像素点的竖直方向上的亮度梯度;
在计算完某一尺度竖直方向上的亮度梯度之后,分别选取其他方向所在直线作为分界线,得到该待求像素点某一尺度所有其他方向上的亮度梯度;再根据步骤D同样的方式计算得到该待求像素点其他尺度上的所有方向的亮度梯度;当完成该待求像素点所有尺度所有方向上的亮度梯度计算后,由公式(2)计算得到该待求像素点的最终亮度梯度:
f(x,y,r,n_ori;r=3,5,10;n_ori=1,2,......8)->Brightness Gradient(x,y) (2)
式中,f为一映射函数,(x,y)为任一待求像素点,r表示选取的尺度,n_ori表示选取的方向;Brightness Gradient(x,y)为像素点(x,y)的最终亮度梯度;f的对应法则为选择每个方向在3个尺度中的最大亮度梯度值作为该方向上的亮度梯度值,将8个方向上的亮度梯度求和得到像素点(x,y)的最终亮度梯度。
7.如权利要求2所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤113中,色彩梯度的计算与亮度梯度的计算类似,不同的是色彩梯度特征是针对两个色彩分量的色彩梯度a和b;选取的3个尺度分别为r=5、r=10和r=20;因此,相应的权值矩阵和地图索引矩阵的大小分别为11*11、21*21和41*41;两个色彩分量的色彩梯度的计算和亮度梯度采用相同的计算方法,得到色彩分量a和b矩阵中每个待求像素点的最终色彩梯度。
8.如权利要求1所述的基于多示例学习与图割优化的目标分割方法,其特征在于,所述步骤12中将多示例学习引入至图像显著性检测得到测试图像的显著性检测结果,具体包括步骤121和步骤122:
步骤121,利用步骤11中所述方法得到的亮度和色彩梯度特征,结合多示例学习EMDD算法实现对训练集的学习,得到学习好的显著性检测模型;
步骤122,将测试图像代入学习好的显著性检测模型,得到测试图像的显著性检测结果。
CN201510375307.4A 2015-06-30 2015-06-30 基于多示例学习与图割优化的目标分割方法 Active CN105069774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510375307.4A CN105069774B (zh) 2015-06-30 2015-06-30 基于多示例学习与图割优化的目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510375307.4A CN105069774B (zh) 2015-06-30 2015-06-30 基于多示例学习与图割优化的目标分割方法

Publications (2)

Publication Number Publication Date
CN105069774A CN105069774A (zh) 2015-11-18
CN105069774B true CN105069774B (zh) 2017-11-10

Family

ID=54499132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510375307.4A Active CN105069774B (zh) 2015-06-30 2015-06-30 基于多示例学习与图割优化的目标分割方法

Country Status (1)

Country Link
CN (1) CN105069774B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111340A (zh) * 2019-04-28 2019-08-09 南开大学 基于多路割的弱监督实例分割方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760886B (zh) * 2016-02-23 2019-04-12 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法
CN105894517B (zh) * 2016-04-22 2019-05-07 北京理工大学 基于特征学习的ct图像肝脏分割方法及系统
CN105956563B (zh) * 2016-05-06 2019-04-16 西安工程大学 基于多示例学习进行新闻图像中人脸标注的方法
EP3472750A4 (en) * 2016-06-15 2020-01-22 Nokia Technologies Oy METHODS, SYSTEMS AND DEVICES FOR CHARACTERISTIC EXTRACTION AND OBJECT DETECTION
CN108625844B (zh) * 2017-03-17 2024-06-25 中国石油化工集团有限公司 一种伽马标定和测试装置
CN110555122B (zh) * 2019-07-19 2022-12-23 中国地质大学(武汉) 一种基于分段矩形的建筑平面图墙体矢量化方法
CN112164068B (zh) * 2020-07-17 2023-07-28 中国人民解放军63892部队 一种警戒雷达ppi图像目标和干扰区域自适应提取方法
CN113159026A (zh) * 2021-03-31 2021-07-23 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509084A (zh) * 2011-11-18 2012-06-20 中国科学院自动化研究所 一种基于多示例学习的恐怖视频场景识别方法
CN103198321A (zh) * 2013-03-27 2013-07-10 中国科学院苏州生物医学工程技术研究所 视网膜图像处理方法及装置
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672987B2 (en) * 2005-05-25 2010-03-02 Siemens Corporate Research, Inc. System and method for integration of medical information
US8249366B2 (en) * 2008-06-16 2012-08-21 Microsoft Corporation Multi-label multi-instance learning for image classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509084A (zh) * 2011-11-18 2012-06-20 中国科学院自动化研究所 一种基于多示例学习的恐怖视频场景识别方法
CN103198321A (zh) * 2013-03-27 2013-07-10 中国科学院苏州生物医学工程技术研究所 视网膜图像处理方法及装置
CN103996189A (zh) * 2014-05-05 2014-08-20 小米科技有限责任公司 图像分割方法及装置
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Global contrast based salient region detection;Ming-Ming Cheng;《Computer Vision & Pattern Recognition》;20150331;第37卷(第3期);第409-416页 *
基于多特征的图像轮廓检测算法研究;许可;《中国优秀硕士学位论文全文数据库信息科技辑》;20150115;第3.1、3.3、3.4节 *
基于多示例学习的图像显著性分析;谢延涛;《中国优秀硕士学位论文全文数据库信息科技辑》;20150215;第3.2节、图3-2、图3-10 *
基于视觉显著模型和图割的图像分割方法研究;刘红才;《中国优秀硕士学位论文全文数据库信息科技辑》;20140615;第3.1节,图3.1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111340A (zh) * 2019-04-28 2019-08-09 南开大学 基于多路割的弱监督实例分割方法

Also Published As

Publication number Publication date
CN105069774A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
CN105069774B (zh) 基于多示例学习与图割优化的目标分割方法
CN108830188B (zh) 基于深度学习的车辆检测方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
Ge et al. Enhanced subpixel mapping with spatial distribution patterns of geographical objects
CN107679531A (zh) 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN109344874A (zh) 一种基于深度学习的染色体自动分析方法及系统
CN104408449B (zh) 智能移动终端场景文字处理方法
CN105005989B (zh) 一种弱对比度下的车辆目标分割方法
CN106503739A (zh) 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统
CN104200228B (zh) 一种安全带识别方法与系统
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN108268865A (zh) 一种基于级联卷积网络的自然场景下车牌识别方法及系统
CN103020649A (zh) 一种基于纹理信息的森林类型识别方法
CN101996308A (zh) 人脸认证方法及系统、人脸模型训练方法及系统
CN106780582A (zh) 基于纹理特征和颜色特征融合的图像显著性检测方法
CN112784869A (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN104282008A (zh) 对图像进行纹理分割的方法和装置
CN105404868A (zh) 一种基于交互平台的复杂背景中文本的快速检测方法
CN103544488A (zh) 一种人脸识别方法及装置
CN105069403B (zh) 一种基于分块统计特征与字典学习稀疏表示分类的三维人耳识别
CN104573722A (zh) 基于三维点云的三维人脸种族分类装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant