Nothing Special   »   [go: up one dir, main page]

CN107452010A - 一种自动抠图算法和装置 - Google Patents

一种自动抠图算法和装置 Download PDF

Info

Publication number
CN107452010A
CN107452010A CN201710638979.9A CN201710638979A CN107452010A CN 107452010 A CN107452010 A CN 107452010A CN 201710638979 A CN201710638979 A CN 201710638979A CN 107452010 A CN107452010 A CN 107452010A
Authority
CN
China
Prior art keywords
mrow
msub
msubsup
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710638979.9A
Other languages
English (en)
Other versions
CN107452010B (zh
Inventor
王灿进
孙涛
王挺峰
王锐
陈飞
田玉珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Qiheng Sensing Technology Co ltd
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710638979.9A priority Critical patent/CN107452010B/zh
Publication of CN107452010A publication Critical patent/CN107452010A/zh
Application granted granted Critical
Publication of CN107452010B publication Critical patent/CN107452010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cosmetics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种自动抠图方法和装置涉及数字图像处理领域，包括：获取待抠图的原始图像，计算其抠图视觉显著度；用空间域滤波和阈值分割算法分离出前景区域、背景区域，结合形态学运算得到三分图；对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。平滑不透明度的局部区域，得到最终估计的不透明度；最后，根据最终估计的不透明度和最佳样本对的颜色，在原始图像中进行抠图操作，提取出前景目标。本发明还公开了一种自动抠图装置。本发明实施例具有无需用户交互、使用简单方便、抠图精度和成功率高的优点。

Description

一种自动抠图算法和装置
技术领域
本发明涉及数字图像处理领域，具体涉及一种自动抠图算法和装置。
背景技术
现实生活中，把感兴趣的目标从一幅背景图像中抠取出来，作为独立素材或者与新的背景图像合成，以期得到完整、逼真的背景替换效果，这种技术已普遍应用于影像编辑、影视特效等领域，广泛渗透入人们的日常生活中。数字图像抠图技术以其良好的应用前景和商业价值，近年来成为计算机视觉研究领域中的热点。
数字抠图算法将自然图像中的每个像素建模为前景和背景颜色的线性模型，即：
I＝αF+(1-α)B (1)
其中，I表示实际图像中的颜色值，F表示前景颜色值，B表示背景颜色值，α称为前景不透明度，取值范围为[0,1]，其中前景区域的不透明度α＝1，背景区域的不透明度α＝0，而在未知区域即前景目标的边缘区域，α取(0,1)之间的值。所谓抠图，就是在已知实际图像I的情况下，求取前景F、背景B和不透明度α的过程。I、F、B均为三维向量，方程需要根据3个已知量求取其余7个未知量，因此是一个高度欠约束问题。
目前已经广泛应用于影视和传媒制作公司的抠图技术是蓝屏抠图，其原理是：将背景限制为单一的蓝色，从而将方程中的未知量压缩为4个。蓝屏抠图操作简单，但对背景限制较大，并且当前景出现蓝色时，将无法完整抠出目标。
目前学者们主要研究的自然图像抠图算法可大致分为二类，即：
(一)基于采样的算法。该方法假设图像局部连续，用未知区域附近的已知样本点对当前像素的前景和背景分量进行估计。例如发明CN105225245提出基于纹理分布假设和正则化策略的自然图像抠图方法，改进了贝叶斯抠图方法，但基于采样的方法缺陷在于获得的alpha图连通性较差，且往往需要图像先验知识和大量的用户标记；
(二)基于传播的算法。该方法需要用户首先进行标记(如点、线等)，标识出前景、背景，随后将未知区域视为场，场的边缘对应于已知区域，通过建立Laplace矩阵用以描述alpha值的关系，将抠图过程转化为Laplace矩阵的求解过程，缺陷在于计算量大，对于非连通区域效果不佳。
此外，还有将采样和传播相结合的算法，以期发挥二者的优势，例如鲁棒抠图算法等，但算法仍普遍存在用户交互复杂、图像的先验假设过多、计算量大的缺陷，从而限制了应用范围，增加了使用难度。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种自动抠图算法和装置，根据输入图像计算抠图视觉显著度，在不限制背景和图像先验知识的情况下，从自然场景图像中完成全自动抠图，无需用户交互，同时能保证较高的抠图精度和成功率。
本发明解决技术问题所采用的技术方案如下：
一种自动抠图算法，该方法包括如下步骤：
步骤一：获取待抠图的原始图像，计算其抠图视觉显著度；
步骤二：根据抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算得到三分图；
步骤三：根据三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；
步骤四：根据当前未知区域像素的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后平滑不透明度的局部区域，得到最终估计的不透明度；
步骤五：根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
一种自动抠图装置，所述装置包括：
图像获取模块，用于采集单幅图像的颜色值；
抠图视觉显著度计算模块，用于根据所述图像获取模块获取的图像颜色值，计算图像的抠图视觉显著度；
三分图计算模块，用于根据所述抠图视觉显著度计算模块获取的抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算，计算得到三分图；
样本点集获取模块，根据所述三分图计算模块获取的三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；
不透明度计算模块，根据所述样本点集获取模块获取的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后对不透明度的局部区域进行平滑，得到最终估计的不透明度；
前景抠出模块，用于根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
本发明的有益效果是：本发明提出的抠图视觉显著性计算方法模拟人眼的视觉注意机制，可自动提取前景目标，免去了复杂的用户交互操作，完成全自动抠图过程，操作简单方便；通过限制样本点对的数量，缩短了抠图时间；对显著性图和不透明度均进行了平滑，提高了抠图精度。
附图说明
图1为本发明一种自动抠图算法的流程示意图
图2为本发明计算区域显著度的流程示意图
图3为本发明一种自动抠图装置的结构示意图
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
图1为本发明一种自动抠图算法实施例的流程示意图，本发明实施例提供了一种自动抠图方法，该方法可以由任意具有图像存储和显示功能的抠图装置来执行，该装置可以是各种终端设备，例如：个人电脑，手机，平板电脑等，也可以是数码相机、摄像机等，具体可以通过软件和/或硬件来实现。如图1所示，本实施例的方法包括：
步骤一：获取待抠图的原始图像，计算原始图像的抠图视觉显著度。
考虑到通常需要提取的前景目标具有以下特征：前景目标具有完整的目标区域，且与周围背景对比度较明显；颜色分布较均匀；大部分区域亮度较大；与背景有较明显的边缘区分。因此本发明实施例提出的视觉抠图显著度计算方法考虑了前景目标的颜色、亮度和区域完整性等特性，假设获取图像为rgb格式，首先需根据r、g、b颜色通道计算灰度图Igray，具体公式为：
Igray＝(r+g+b)/3 (2)
原始图像也可以是YUV等任意格式，本发明实施例对摄像机的输出图像格式不作限定，相应彩色转灰度的公式也需作调整。
接着对Igray进行低通滤波和降采样，也即：将原始灰度图像Igray作为金字塔的第0尺度层。第1尺度层为第0尺度层与低通滤波器进行卷积，然后在x和y方向上分别1/2采样得到，其余层以此类推，每一层的分辨率为上一层的一半。此处的低通滤波器可以是高斯滤波、拉普拉斯滤波和Gabor滤波器，本发明实施例对生成尺度金字塔的低通滤波器的形式不作具体限制。
与人眼视觉特性相对应，在图像亮度很低的地方，很难引起人眼注意，因此需要对尺度金字塔的亮度分量进行阈值抑制，即低于最大亮度值Igray_max的5％的区域，亮度分量置为0，这样可以有效抑制暗弱背景干扰。而目标边缘上局部亮度较小的点，虽然也有被剔除的可能，但一方面这些部位在区域显著图中将得到保留，另一方面边缘区域将划分为未知区域，因此对最后的抠图完整性不会造成影响。
建立尺度金字塔后，接着计算亮度显著性图。具体计算方法为：以细尺度c上的图像为视觉的中央区域，粗尺度s上的图像为视觉的周边区域，令中央尺度c∈{2,3,4}，周边尺度s＝c+δ，δ∈{3,4}，可得到6种中央-周边组合分别为{2-5,2-6,3-6,3-7,4-7,4-8}。将s尺度上的图像插值到c的尺度，并根据公式I(c，s)＝|I(c)ΘI(s)(3)，用c尺度上的图像减去插值后的图像，得到亮度差异图。其中I(σ)为图像金字塔，σ＝0,1,...,8表示不同的尺度，Θ表示中央-周边差算子。这些特征图表示图像中的某个位置与其局部邻域在亮度上的差异性，这种差异性越大，表示在局部范围内亮度显著性越高，越容易引起人眼的注意。依此计算6组亮度差异图之后，对这些差异图进行融合，摒弃冗余特征，生成最后的亮度显著性图。由于在不同尺度上，差异图的绝对值大小并不能反映显著性信息，因此不能将不同尺度的差异图进行简单相加。本发明实施例中，对差异图进行归一化，归一化函数具体步骤为：
(1)对所有6幅差异图归一化至区间[0,1]；
(2)分别计算每个差异图的局部方差；
(3)融合权值取与局部方差成正相关，即局部方差越大，表示该差异性图包含的信息量越大，则该幅差异性图在加权组合时应该赋予较大的权值。
然后，根据公式(4)加权组合亮度差异图，得到亮度显著性图。其中表示跨尺度相加因子。
接着计算颜色显著性图。根据Ewald的“颜色对”模型，在人眼视觉感受野的中心，神经元若被R颜色激活则被G颜色抑制，若被B颜色激活则被Y颜色抑制，因此根据公式(21～24)将图像从rgb三个通道转化为RGBY四个通道：
R＝r-(g+b)/2 (5)
G＝g-(r+b)/2 (6)
B＝b-(g+r)/2 (7)
Y＝(r+g)/2-|r-g|/2-b (8)
随后根据人眼视觉细胞的特性，计算红绿和蓝黄对抗色组RG和BY，也即：求取RG的具体过程为：分别在尺度c和尺度s上，逐像素对图像的R、G通道相减求绝对值，然后将s尺度上的计算结果插值到c尺度上，最后与c尺度上的原结果逐像素作差。BY的求取过程类似。这样多次相减，可分别得到6幅RG和BY上的颜色差异显著性图。
然后，根据公式加权组合颜色差异图，得到颜色显著性图。
接着计算区域显著性图。对前景目标进行超像素分割，接着统计每个超像素的归一化颜色直方图，并根据颜色直方图对超像素进行聚类，将图像分割为几个区域{r1,r2,...,rk}，每个区域的聚类中心为cei，i＝1,...,k。则区域ri的区域显著性图VAr可以计算如下：
其中，w(ri)表示ri区域面积的权重，计算方法为：
其中，PN(ri)表示区域ri的像素个数。上式表示区域面积越大，权重越大，即区域ri周围面积大的区域对其显著性的影响要大于面积小的区域。
Dr(rj,ri)表示的是区域rj和区域ri的聚类中心的距离，即：
其中，cei(m)、cej(n)表示的是颜色直方图cei、cej的第m、n个颜色分量，Dc(m,n)表示的是第m、n种颜色在LAB颜色空间的欧氏距离。
本发明实施例提出一种超像素分割和聚类相结合的区域显著性提取方法，具体实施步骤将在下文图2进行说明。
步骤A)对输入图像作超像素分割。可选用的超像素分割方法包括归一化分割(NC)算法、图割(GS)算法、快速漂移(QS)算法、简单线性迭代聚类(SLIC)算法等。考虑到算法的快速性和实用性，本发明实施例选择SLIC算法，具体步骤为：
1)假设图像的总像素数为N，预将其分割为K*K个超像素。首先将整幅图像均匀分割为K*K个小块，取每个小块的中心作为初始点。在每个初始点的3*3邻域计算像素梯度，梯度最小的点为超像素分割算法的初始中心Oi，i＝0,1,...K*K-1，赋予每个初始中心一个单独的标签；
2)将每个像素点表示为CIELAB颜色空间和XY坐标的五维向量{l,a,b,x,y}，计算每个像素点与其最接近的中心的距离，距离计算公式为：
其中，dlab为颜色差异值，dxy为位置差异值，S为中心间距，m为平衡参数，Dis为像素之间的距离。对每个像素，赋予与之最接近的中心的标签；
3)重新计算不同标签的像素的中心，更新Oi，并计算新旧中心的差值，若差值小于阈值则算法结束，否则返回步骤2)。
步骤B：统计每个超像素的归一化颜色直方图。即将Lab颜色空间的每个维度分为若干个bin，统计超像素中的像素颜色落在每个bin中的概率，最后将统计的直方图归一化。
步骤C：对超像素进行聚类，将图像分为若干个连续区域。可选用的聚类方法包括基于划分、模型、层次、网格、密度聚类的任意一种，本实施例中使用基于密度的DBSCAN聚类算法。具体步骤为：从超像素中选取一个作为种子点，用给定的误差阈值Eps和MinPts搜索所有它的密度可达超像素并判断该点是否为核心点。如果是核心点，则与其密度可达点形成一个聚类区域；如果不是核心点也不是边界点，则重新选择其他点作为种子点并重复以上步骤；如果不是核心点而是边界点，则认为是噪声点并丢弃。重复以上步骤直至所有点均被检索，最后形成若干个划分区域。DBSCAN能有效应对噪声点，能划分任意形状的类簇，因此适用于本实施例。
步骤D：计算区域显著度。根据超像素聚类结果和公式(12)(13)(14)，计算每个区域的区域显著度。
最后，根据颜色信息、区域信息和亮度信息的重要程度，使用公式VA＝αgVAg+αcVAc+αrVAr(18)和αg+αc+αr＝1(19)融合三类显著性图，得到最后的抠图视觉显著图。在本实施例中，取αc＝0.5,αr＝0.3,αg＝0.2。
步骤二：根据抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算得到三分图。
首先使用空间域滤波器对抠图视觉显著图进行平滑以去除噪点，随后选用阈值分割算法(如Otsu方法)计算得到阈值Tva，则在显著图中，显著性值大于Tva的像素对应为前景区域，小于Tva的像素对应为背景区域，从而得到粗分三分图Itc。
空间域滤波是为了保证局部区域不出现显著度的奇点，同时对显著度值进行平滑，可选择中值滤波、双边滤波或者高斯滤波器。为了保证算法的计算效率，本实施例中选择高斯滤波器作为抠图视觉显著度图的平滑滤波器，滤波器窗口为3*3。
由于在抠图视觉显著度图中，综合考虑了亮度显著性、颜色显著性和区域显著性，保证前景区域的显著度远大于背景区域的显著度，因此对于阈值分割算法的性能并没有苛刻要求，阈值Tva可以在一个较宽的范围内取值而不会影响前景分割的结果。在本实施例中，我们选取Otsu阈值算法，具体步骤为：
(1)假设抠图视觉显著度图VA的灰度级为0,1,...,L-1，图像总像素数为N，统计其灰度直方图，即：假设VA中灰度为i，i＝0,1,...,L-1的像素个数为Ni，则灰度直方图中对应灰度级i的值为Ni/N；
(2)将阈值Tva从0到L-1遍历，将像素分为小于Tva和大于等于Tva两类，统计这两类之间的类间差：
g＝ω0(μ0-μ)2+ω1(μ1-μ)2 (20)
其中，ω0、ω1分别是小于Tva和大于等于Tva的像素个数所占的比重，μ0、μ1分别是小于Tva和大于等于Tva的像素均值。
(3)遍历之后，找到类间差g取最大值时对应的Tva作为最终的分割阈值。
形态学算子的形状、尺寸应该根据图像内容如图像分辨率、前景区域的尺寸、形状进行选取，本实施例中默认为圆形以保证各个方向的均匀性。进行形态学操作时，为避免阈值分割后出现小的孔洞和毛边，对Itc作如下的形态学操作：首先作一次开运算，以连接局部不连续的区域，去除孔洞；随后作尺寸为re的腐蚀操作，得到三分图的前景区域Fg；作尺寸为rd的膨胀操作，得到三分图的背景部分Bg，前景和背景之间的区域为未知区域，这样就得到待抠图像I的细分三分图It。
假设前景区域的灰度值为1，背景区域的灰度值为0，使用形态学核算子与二值图进行卷积，对于白色的前景区域，腐蚀能缩小其边界，而对于黑色的背景区域，膨胀能缩小其边界，最后前景和背景之间即为未知区域。
步骤三：根据三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集。
对未知区域的每个像素I(xi,yi)，计算其梯度值Grai，梯度的方向记为θ，θ的计算公式为
在本实施例中，在梯度方向的直线上搜索到参考的前景、背景样本点对，在该样本点对的周围，根据当前位置像素点的抠图视觉显著度值确定搜索区域的大小，显著性越大，搜索范围越小，表示在显著性大的像素周围，真实的前景、背景点更靠近该像素。接着，根据空间距离和视觉显著度分别搜索出5个前景和背景样本对，具体过程为：
1)令搜索半径rs的初始值为1，计数count＝0；
2)在以参考的前景/背景样本点为中心，rs为半径为的圆上，对所有像素点p计算是否满足条件：|VA(p)-VA(p0)|<Tvap，其中p0为搜索区域的中心即参考的前景或背景样本点，p为搜索圆上的点，若满足条件则count+1；
3)判断是否count>5，若是则搜索停止；若否则rs++并返回步骤2)。
这样的采样策略，一方面可生成较少的采样点对，降低后续抠图计算的复杂度，另一方面沿着梯度方向进行采样，能较大概率保证前景和背景点分别位于不同的纹理区域，同时根据邻域显著性值的采样又能保证采样点之间具有一定的空间和显著性相似度，因此该采样方法能较大概率的保证包含真实采样点对，从而提高抠图的准确性
步骤四：根据当前未知区域像素的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后平滑不透明度的局部区域，得到最终估计的不透明度；
从前景样本点集和背景样本点集中任选一点，根据成像线性模型，估计不透明度为
其中和分别表示第m个前景样本点和第n个背景样本点的颜色值。这样对于每个未知区域像素，一共获得25个不同的不透明度估计，随后需要从中选出置信度最高的不透明度用于抠出前景目标。
最优的前景背景点对的要求为：1)对于式(1)的线性模型具有最小的误差；2)前景样本点和背景样本点具有较大的颜色差；3)前景或者背景样本点与当前像素的颜色值较接近；4)前景和背景样本点与当前像素的空间距离较小。
根据准则1)和准则2)，定义线性-色差相似度为
根据准则3)，定义颜色相似度为
根据准则4)，定义空间距离相似度为
定义置信度函数为
其中，分别是线性-色差相似度、颜色相似度、空间距离相似度，Di是未知像素的前背景采样半径，由其抠图视觉显著度决定，视觉显著度越大则Di越小，σ1、σ2和σ3用于调整不同相似度之间的权值。选取置信度最高的α作为当前未知像素的不透明度的估计，而对应的前景、背景样本对则作为最终抠图使用的最佳前景、背景样本对。
针对未知区域的每个像素，逐点如前估计不透明度。最终，有可能某些像素点的置信度过低，导致估计出的不透明度误差较大，最后抠图出现色差。因此需要对未知区域不透明度做局部平滑。平滑时需要考虑的因素有：颜色值差异、空间位置差异、显著度差异，即局部颜色差异越大、局部空间位置越远、显著度越大的像素，权值越小。为此，为平衡空间域、颜色值域、显著度值域的影响，本发明中的不透明度平滑方法如下：
其中，Pi、Pj表示i、j二点的坐标，Ii、Ij表示i、j二点的颜色，VAi、VAj表示i、j二点的抠图视觉显著度，σp、σc和σva用于调整三者之间的权重。这样计算出来的不透明度由于充分考虑了空间位置、颜色和显著度的影响，使得空间位置越近、颜色越相似、显著度越接近的像素之间不透明度越接近，与人眼的主观感受是一致的，从而有效排除了不透明度的奇异点，提高了抠图的精度。
根据最优的前景背景点对的4个准则，确定其度量函数如式(30)所示，其中综合考虑了线性模型符合度、前景背景颜色差、目标像素与前背景的颜色差、空间距离四个指标。通过设定σ1、σ2、σ3的值，用于调整不同相似度的权值。随后，根据公式(31)，对不透明度进行平滑，得到最终抠图用的不透明度。在本实施例中，平滑操作综合考虑了颜色差异、空间位置差异和显著度差异，通过改变σp、σc和σva，可以调整这三者在加权系数中的比重。例如，如果注重显著度信息，即σva应该大于σp、σc。
步骤五：根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
具体的操作步骤为：新建一张与原图大小相同的图像作为背景，利用计算出的不透明度和前景像素值，根据公式(1)与新背景进行合成，得到最终的抠图结果。
本发明实例中针对自然图像进行抠图，对于前景目标、背景的具体内容不作限定，只需要前景与背景有肉眼可辨的明显区分边界即可。
本发明实施例提供了一种自动抠图算法，通过获取待抠图的原始图像，计算原始图像的抠图视觉显著度；接着根据抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算得到三分图；根据三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；根据当前未知区域像素的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后平滑不透明度的局部区域，得到最终估计的不透明度；根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。本发明提出的抠图视觉显著性计算方法模拟人眼的视觉注意机制，可自动提取前景目标，免去了复杂的用户交互操作，完成全自动抠图过程，操作简单方便；通过限制样本点对的数量，缩短了抠图时间；对显著性图和不透明度均进行了平滑，提高了抠图精度。
图3是本发明实施例提供的一种自动抠图装置的结构示意图，该装置包括：
图像获取模块，用于采集单幅图像的颜色值；
抠图视觉显著度计算模块，用于根据所述图像获取模块获取的图像，计算其抠图视觉显著度；
三分图计算模块，用于根据所述抠图视觉显著度计算模块获取的抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算，计算得到三分图；
样本点集获取模块，根据所述三分图计算模块获取的三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；
不透明度计算模块，根据所述样本点集获取模块获取的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后对不透明度的局部区域进行平滑，得到最终估计的不透明度；
前景抠出模块，用于根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
具体地，所述抠图视觉显著度计算模块包括：
尺度金字塔生成单元，用于根据获取的待抠图像，进行平滑和降采样，生成尺度金字塔；
亮度显著性计算单元，用于根据尺度金字塔生成单元获得的尺度金字塔，以细尺度上的图像为视觉的中央区域，粗尺度上的图像为视觉的周边区域，计算亮度显著性图；
颜色显著性计算单元，用于根据尺度金字塔生成单元获得的尺度金字塔，以细尺度上的图像为视觉的中央区域，粗尺度上的图像为视觉的周边区域，计算颜色显著性图；
区域显著性计算单元，用于根据图像获取模块获取的待抠图像，对前景目标进行超像素分割，并根据颜色直方图对超像素进行聚类，计算每个聚类区域的颜色显著性；
显著性融合单元，用于根据亮度显著性计算单元获取的亮度显著性图、颜色显著性计算单元获取的颜色显著性图、区域显著性计算单元获取的区域显著性图，融合得到待抠图像的抠图视觉显著性图。
所述三分图计算模块包括：
空间域滤波单元，用于选取合适的空间域滤波方法，对抠图视觉显著度图进行平滑；
阈值分割单元，用于根据空间域滤波单元获得的平滑抠图视觉显著度图，选用阈值分割算法分割获取前景区域和背景区域，得到粗略的三分图；
形态学运算单元：用于根据阈值分割单元获取的粗略三分图，进行形态学操作以填充孔洞，得到前景、背景和未知区域，即精确的三分图。
所述样本点集获取模块包括：
梯度计算单元，用于根据所述待抠图像的灰度值，获取每个未知像素的梯度；
采样单元，用于根据梯度计算单元得到的梯度方向作直线，取直线与前景区域和背景区域的第一个交点对作为初始搜索点，在该搜索点的邻域，由近到远搜索与未知像素显著性值差异小于阈值的样本点。
所述不透明度计算模块包括：
线性-色差相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其线性-颜色相似度；
颜色相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其颜色相似度；
空间距离相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其空间距离相似度；
样本筛选单元：用于根据从线性-色差相似度计算单元、颜色相似度计算单元和空间距离相似度计算单元获取的相似度值，计算每一对样本点相对当前未知像素的置信度；选取置信度最高的不透明度作为当前位置像素的不透明度的估计。
平滑单元：用于根据样本筛选单元获取的不透明度，对其做局部平滑。
本发明实施例提供了一种自动抠图装置，通过获取待抠图的原始图像，计算原始图像的抠图视觉显著度；接着根据抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算得到三分图；根据三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；根据当前未知区域像素的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对。然后平滑不透明度的局部区域，得到最终估计的不透明度；根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。本发明提出的抠图视觉显著性计算方法模拟人眼的视觉注意机制，可自动提取前景目标，免去了复杂的用户交互操作，完成全自动抠图过程，操作简单方便；通过限制样本点对的数量，缩短了抠图时间；对显著性图和不透明度均进行了平滑，提高了抠图精度。
本发明实施例还提供了一种自动抠图的计算机程序产品。

Claims (10)

1.一种自动抠图算法，其特征在于，该方法包括如下步骤：
步骤一：获取待抠图的原始图像，计算其抠图视觉显著度；
步骤二：根据步骤一所述的抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域和背景区域，结合形态学运算得到三分图；
步骤三：对步骤二所述的三分图的未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景和背景样本点集；
步骤四：根据步骤三所述的当前未知区域像素的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对，然后平滑不透明度的局部区域，得到最终估计的不透明度；
步骤五：根据步骤四所述的最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
2.根据权利要求1所述的一种自动抠图算法，其特征在于，计算原始图像的抠图视觉显著度的具体步骤为：
步骤(1)、计算灰度图Igray，并对Igray进行逐层的平滑和降采样，生成n层的尺度金字塔；
步骤(2)、以细尺度c上的图像为视觉的中央区域，粗尺度s上的图像为视觉的周边区域，首先计算亮度差异特征图：
I(c,s)＝|I(c)ΘI(s)|
其中I(σ)为图像金字塔，σ＝0,1,...,8表示不同的尺度，c∈{2,3,4}为中央尺度，s＝c+δ，δ∈{3,4}表示周围尺度，Θ表示中央-周边差算子，最终得到6幅亮度差异特征图；亮度显著性图为6幅亮度差异特征图的归一化加权和：
<mrow> <msub> <mi>VA</mi> <mi>g</mi> </msub> <mo>=</mo> <munderover> <mrow> <mi></mi> <mo>&amp;CirclePlus;</mo> </mrow> <mrow> <mi>c</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <munderover> <mrow> <mi></mi> <mo>&amp;CirclePlus;</mo> </mrow> <mrow> <mi>s</mi> <mo>=</mo> <mi>c</mi> <mo>+</mo> <mn>3</mn> </mrow> <mrow> <mi>c</mi> <mo>+</mo> <mn>4</mn> </mrow> </munderover> <mi>N</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>c</mi> <mo>,</mo> <mi>s</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，表示归一化函数，表示跨尺度相加因子；
步骤(3)、计算以细尺度c上的图像为视觉的中央区域，粗尺度s上的图像为视觉的周边区域，首先将图像从rgb通道转化为RGBY四元色通道，接着计算红绿通道颜色差异图RG和蓝黄通道颜色差异图BY：
RG(c,s)＝|R(c)-G(c)|Θ|G(s)-R(s)|
BY(c,s)＝|B(c)-Y(c)|Θ|Y(s)-B(s)|
颜色显著性图为12幅颜色差异特征图的归一化加权和：
<mrow> <msub> <mi>VA</mi> <mi>c</mi> </msub> <mo>=</mo> <munderover> <mrow> <mi></mi> <mo>&amp;CirclePlus;</mo> </mrow> <mrow> <mi>c</mi> <mo>=</mo> <mn>2</mn> </mrow> <mn>4</mn> </munderover> <munderover> <mrow> <mi></mi> <mo>&amp;CirclePlus;</mo> </mrow> <mrow> <mi>s</mi> <mo>=</mo> <mi>c</mi> <mo>+</mo> <mn>3</mn> </mrow> <mrow> <mi>c</mi> <mo>+</mo> <mn>4</mn> </mrow> </munderover> <mrow> <mo>(</mo> <mi>N</mi> <mo>(</mo> <mrow> <mi>R</mi> <mi>G</mi> <mrow> <mo>(</mo> <mrow> <mi>c</mi> <mo>,</mo> <mi>s</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>+</mo> <mi>N</mi> <mo>(</mo> <mrow> <mi>B</mi> <mi>Y</mi> <mrow> <mo>(</mo> <mrow> <mi>c</mi> <mo>,</mo> <mi>s</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
步骤(4)、对前景目标的进行超像素分割，接着统计每个超像素的归一化颜色直方图，并根据颜色直方图对超像素进行聚类，将图像分割为几个区域{r1,r2,...,rk}，每个区域的聚类中心为cei，i＝1,...,k；则区域ri的区域显著性值VAr可以计算如下：
<mrow> <msub> <mi>VA</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> </munder> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中，w(ri)表示区域面积的权重值，Dr(rj,ri)表示的是区域rj和区域ri的聚类中心的距离；
步骤(5)、将亮度显著度、颜色显著度和区域显著度进行合成：
VA＝αgVAg+αcVAc+αrVAr
αg+αc+αr＝1
其中，αg、αc、αr是不同显著性的加权系数。
3.根据权利要求1所述的一种自动抠图算法，其特征在于，得到三分图的方法，具体步骤为：
首先使用空间域滤波器对抠图视觉显著图进行平滑以去除噪点，随后选用阈值分割算法计算得到阈值Tva，从而得到粗分三分图Itc；随后对Itc作如下的形态学操作：首先作一次开运算，以连接局部不连续的区域，去除孔洞；随后作尺寸为re的腐蚀操作，得到三分图的前景区域Fg；作尺寸为rd的膨胀操作，得到三分图的背景部分Bg，前景和背景间区域为未知区域，得到待抠图像I的细分三分图It。
4.根据权利要求1所述的一种自动抠图算法，其特征在于，所述的样本点集获取方法，具体包括：
对未知区域的每个像素I(xi,yi)，计算其梯度值Grai，梯度的方向记为θ，θ的计算公式为
<mrow> <mi>&amp;theta;</mi> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>1</mn> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
沿着θ方向作直线，分别得到直线与前景区域和背景区域的第一个交点，作为初始搜索中心。在该交点的邻域，由近到远搜索5个与之显著性值差异小于阈值Tvap的点，最后一共生成5*5＝25个样本点对。
5.根据权利要求1所述的一种自动抠图算法，其特征在于，不透明度计算方法，具体包括：
从前景样本点集合背景样本点集中任选一点，根据成像线性模型，估计不透明度为(公式中Bi(t)改为)
<mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mrow> <mo>(</mo> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow> <mrow> <mo>|</mo> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> </mrow> </mfrac> </mrow>
其中和分别表示第m个前景样本点和第n个背景样本点的颜色值；这样对于每个未知区域像素i，一共获得25个不同的不透明度估计，随后需要从中选出置信度最高的不透明度用于抠出前景目标。
定义线性-色差相似度为
<mrow> <msubsup> <mi>lc</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mfrac> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> </mrow> </mfrac> </mrow>
定义颜色相似度为
<mrow> <msubsup> <mi>co</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mo>&amp;CenterDot;</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>Fg</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>)</mo> </mrow> </mrow> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> </mrow> </mfrac> <mo>}</mo> </mrow>
定义空间距离相似度为
<mrow> <msubsup> <mi>ds</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>&amp;sigma;</mi> <mn>3</mn> <mn>2</mn> </msubsup> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <msubsup> <mi>Fg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </msub> <mo>|</mo> <mo>&amp;CenterDot;</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <msubsup> <mi>Bg</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </msub> <mo>|</mo> </mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> </mfrac> <mo>}</mo> </mrow> 2
定义置信度函数为
<mrow> <msubsup> <mi>c</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>lc</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>co</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>ds</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mrow> <msup> <msub> <mi>&amp;sigma;</mi> <mn>4</mn> </msub> <mn>2</mn> </msup> </mrow> </mfrac> <mo>}</mo> </mrow>
其中分别是线性-色差相似度、颜色相似度、空间距离相似度，Di是未知像素i的前背景采样半径，由其抠图视觉显著度决定，视觉显著度越大则Di越小，σ1、σ2和σ3用于调整不同相似度之间的权值；选取置信度最高的α作为当前未知像素的不透明度的估计，而对应的前景、背景样本对则作为最终抠图使用的前景、背景样本对；
最后，对不透明度进行平滑处理；
<mrow> <msub> <mi>&amp;omega;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mi>p</mi> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mi>c</mi> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>-</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>VA</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>VA</mi> <mi>j</mi> </msub> <mo>|</mo> </mrow> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>v</mi> <mi>a</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> </mrow>
其中，Pi、Pj表示i、j二点的坐标，Ii、Ij表示i、j二点的颜色，VAi、VAj表示i、j二点的抠图视觉显著度，σp、σc和σva用于调整三者之间的权重。
6.一种自动抠图装置，其特征在于，所述装置包括：
图像获取模块，用于采集单幅图像的颜色值；
抠图视觉显著度计算模块，用于根据所述图像获取模块获取的图像颜色值，计算图像的抠图视觉显著度；
三分图计算模块，用于根据所述抠图视觉显著度计算模块获取的抠图视觉显著度图，使用空间域滤波和阈值分割算法，分离出前景区域、背景区域，结合形态学运算，计算得到三分图；
样本点集获取模块，根据所述三分图计算模块获取的三分图，对未知区域的每个像素进行梯度计算，根据梯度方向和显著性大小采样得到当前未知区域像素的前景、背景样本点集；
不透明度计算模块，根据所述样本点集获取模块获取的前景、背景样本点集，计算每个样本点的不透明度和置信度，取置信度最高的样本对作为最终抠图用的最佳样本对；然后对不透明度的局部区域进行平滑，得到最终估计的不透明度；
前景抠出模块，用于根据最终估计的不透明度和最佳样本对的颜色值，在原始图像中进行抠图操作，提取出前景目标。
7.根据权利要求6所述的一种自动抠图装置，其特征在于，所述抠图视觉显著度计算模块包括：
尺度金字塔生成单元，用于根据获取的待抠图像，进行平滑和降采样，生成尺度金字塔；
亮度显著性计算单元，用于根据尺度金字塔生成单元获得的尺度金字塔，以细尺度上的图像为视觉的中央区域，粗尺度上的图像为视觉的周边区域，计算亮度显著性图；
颜色显著性计算单元，用于根据尺度金字塔生成单元获得的尺度金字塔，以细尺度上的图像为视觉的中央区域，粗尺度上的图像为视觉的周边区域，计算颜色显著性图；
区域显著性计算单元，用于根据图像获取模块获取的待抠图像，对前景目标进行超像素分割，并根据颜色直方图对超像素进行聚类，计算每个聚类区域的颜色显著性；
显著性融合单元，用于根据亮度显著性计算单元获取的亮度显著性图、颜色显著性计算单元获取的颜色显著性图、区域显著性计算单元获取的区域显著性图，融合得到待抠图像的抠图视觉显著性图。
8.根据权利要求6所述的一种自动抠图装置，其特征在于，所述三分图计算模块包括：
空间域滤波单元，用于选取合适的空间域滤波方法，对抠图视觉显著度图进行平滑；
阈值分割单元，用于根据空间域滤波单元获得的平滑抠图视觉显著度图，选用阈值分割算法分割获取前景区域和背景区域，得到粗略的三分图；
形态学运算单元：用于根据阈值分割单元获取的粗分三分图，进行形态学操作以填充孔洞，得到前景、背景和未知区域，即精确的三分图。
9.根据权利要求6所述的一种自动抠图装置，其特征在于，所述样本点集获取模块包括：
梯度计算单元，用于根据所述待抠图像的灰度值，获取每个未知像素的梯度；
采样单元，用于根据梯度计算模块得到的梯度方向作直线，取直线与前景区域和背景区域的第一个交点对作为初始搜索点，在该搜索点的邻域，由近到远搜索与未知像素显著性值差异小于阈值的样本点。
10.根据权利要求6所述的一种自动抠图装置，其特征在于，所述不透明度计算模块包括：
线性-色差相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其线性-颜色相似度；
颜色相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其颜色相似度；
空间距离相似度计算单元：用于根据样本点集获取模块得到的样本点集，逐对取出样本点，并计算其空间距离相似度；
样本筛选单元：用于根据从线性-色差相似度计算单元、颜色相似度计算单元和空间距离相似度计算单元获取的相似度值，计算每一对样本点相对当前未知像素的置信度；选取置信度最高的不透明度作为当前位置像素的不透明度的估计；
平滑单元：用于根据样本筛选单元获取的不透明度，对其做局部平滑。平滑时考虑的因素包括：颜色值差异、空间位置差异、显著度差异。
CN201710638979.9A 2017-07-31 2017-07-31 一种自动抠图算法和装置 Active CN107452010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710638979.9A CN107452010B (zh) 2017-07-31 2017-07-31 一种自动抠图算法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710638979.9A CN107452010B (zh) 2017-07-31 2017-07-31 一种自动抠图算法和装置

Publications (2)

Publication Number Publication Date
CN107452010A true CN107452010A (zh) 2017-12-08
CN107452010B CN107452010B (zh) 2021-01-05

Family

ID=60490577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710638979.9A Active CN107452010B (zh) 2017-07-31 2017-07-31 一种自动抠图算法和装置

Country Status (1)

Country Link
CN (1) CN107452010B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108134937A (zh) * 2017-12-21 2018-06-08 西北工业大学 一种基于hevc的压缩域显著性检测方法
CN108320294A (zh) * 2018-01-29 2018-07-24 袁非牛 一种二代身份证照片的人像背景智能全自动替换方法
CN108460383A (zh) * 2018-04-11 2018-08-28 四川大学 基于神经网络与图像分割的图像显著性精化方法
CN108596913A (zh) * 2018-03-28 2018-09-28 众安信息技术服务有限公司 一种抠图方法及装置
CN109461158A (zh) * 2018-11-19 2019-03-12 第四范式（北京）技术有限公司 彩色图像分割方法及系统
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109540925A (zh) * 2019-01-23 2019-03-29 南昌航空大学 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN109785329A (zh) * 2018-10-29 2019-05-21 重庆师范大学 基于改进slic算法的紫色土图像分割提取方法
CN110111342A (zh) * 2019-04-30 2019-08-09 贵州民族大学 一种抠图算法的优化选取方法及装置
CN110288617A (zh) * 2019-07-04 2019-09-27 大连理工大学 基于共享抠图和roi渐变的人体切片图像自动分割方法
CN110298861A (zh) * 2019-07-04 2019-10-01 大连理工大学 一种基于共享采样的快速三维图像分割方法
CN110400323A (zh) * 2019-07-30 2019-11-01 上海艾麒信息科技有限公司 一种自动抠图系统、方法以及装置
CN110415273A (zh) * 2019-07-29 2019-11-05 肇庆学院 一种基于视觉显著性的机器人高效运动跟踪方法及系统
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备
CN110751654A (zh) * 2019-08-30 2020-02-04 稿定（厦门）科技有限公司 图像抠图方法、介质、设备及装置
CN110751655A (zh) * 2019-09-16 2020-02-04 南京工程学院 一种基于语义分割和显著性分析的自动抠图方法
CN110956681A (zh) * 2019-11-08 2020-04-03 浙江工业大学 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN111028259A (zh) * 2019-11-15 2020-04-17 广州市五宫格信息科技有限责任公司 一种通过图像显著性改进适应的前景提取方法
CN111161286A (zh) * 2020-01-02 2020-05-15 大连理工大学 一种交互式自然图像抠图方法
CN111383232A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 抠图方法、装置、终端设备及计算机可读存储介质
CN111435282A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN111462027A (zh) * 2020-03-12 2020-07-28 中国地质大学（武汉） 基于多尺度梯度和抠图的多聚焦图像融合方法
CN111563908A (zh) * 2020-05-08 2020-08-21 展讯通信（上海）有限公司 一种图像处理方法及相关装置
CN111784726A (zh) * 2019-09-25 2020-10-16 北京沃东天骏信息技术有限公司 人像抠图方法和装置
CN111862110A (zh) * 2020-06-30 2020-10-30 辽宁向日葵教育科技有限公司 一种绿幕抠像方法、系统、设备和可读存储介质
CN111932447A (zh) * 2020-08-04 2020-11-13 中国建设银行股份有限公司 一种图片处理方法、装置、设备及存储介质
CN111931688A (zh) * 2020-08-27 2020-11-13 珠海大横琴科技发展有限公司 船只识别方法、装置、计算机设备及存储介质
CN112101370A (zh) * 2020-11-11 2020-12-18 广州卓腾科技有限公司 一种纯色背景图像自动抠像算法、计算机可读存储介质及设备
CN112149592A (zh) * 2020-09-28 2020-12-29 上海万面智能科技有限公司 图像处理方法、装置以及计算机设备
CN112183248A (zh) * 2020-09-14 2021-01-05 北京大学深圳研究生院 一种基于逐通道时空表征学习的视频显著性物体检测方法
CN112200826A (zh) * 2020-10-15 2021-01-08 北京科技大学 一种工业弱缺陷分割方法
CN112396610A (zh) * 2019-08-12 2021-02-23 阿里巴巴集团控股有限公司 一种图像处理方法、计算机设备、存储介质
CN112634312A (zh) * 2020-12-31 2021-04-09 上海商汤智能科技有限公司 图像背景处理方法、装置、电子设备及存储介质
CN112634314A (zh) * 2021-01-19 2021-04-09 深圳市英威诺科技有限公司 目标图像获取方法、装置、电子设备及存储介质
CN112801896A (zh) * 2021-01-19 2021-05-14 西安理工大学 基于前景提取的逆光图像增强方法
CN113052755A (zh) * 2019-12-27 2021-06-29 杭州深绘智能科技有限公司 一种基于深度学习的高分辨率图像智能化抠图方法
CN113271394A (zh) * 2021-04-07 2021-08-17 福建大娱号信息科技股份有限公司 一种无蓝绿自然背景的ai智能抠像方法及终端
CN113487630A (zh) * 2021-07-14 2021-10-08 辽宁向日葵教育科技有限公司 一种基于材质分析技术的抠像方法
CN113724175A (zh) * 2021-04-15 2021-11-30 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置及电子设备
CN113870298A (zh) * 2021-09-07 2021-12-31 中国人民解放军海军航空大学 一种水面目标阴影的提取方法、装置、电子设备和存储介质
CN113902656A (zh) * 2021-08-17 2022-01-07 浙江大华技术股份有限公司 一种宽动态图像融合方法、设备及计算机可读存储介质
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945223A (zh) * 2010-09-06 2011-01-12 浙江大学 视频一致性融合处理方法
CN102651135A (zh) * 2012-04-10 2012-08-29 电子科技大学 一种基于优化方向采样的自然图像抠图方法
CN104036517A (zh) * 2014-07-01 2014-09-10 成都品果科技有限公司 一种基于梯度采样的图像抠图方法
US9569855B2 (en) * 2015-06-15 2017-02-14 Electronics And Telecommunications Research Institute Apparatus and method for extracting object of interest from image using image matting based on global contrast

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945223A (zh) * 2010-09-06 2011-01-12 浙江大学 视频一致性融合处理方法
CN102651135A (zh) * 2012-04-10 2012-08-29 电子科技大学 一种基于优化方向采样的自然图像抠图方法
CN104036517A (zh) * 2014-07-01 2014-09-10 成都品果科技有限公司 一种基于梯度采样的图像抠图方法
US9569855B2 (en) * 2015-06-15 2017-02-14 Electronics And Telecommunications Research Institute Apparatus and method for extracting object of interest from image using image matting based on global contrast

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙巍: "视觉感知特性指导下的自然图像抠图算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
罗娇: "一种自动抠像技术的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郝凯: "图像及图像序列上的交互抠图技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108134937A (zh) * 2017-12-21 2018-06-08 西北工业大学 一种基于hevc的压缩域显著性检测方法
CN108134937B (zh) * 2017-12-21 2021-07-13 西北工业大学 一种基于hevc的压缩域显著性检测方法
CN108320294A (zh) * 2018-01-29 2018-07-24 袁非牛 一种二代身份证照片的人像背景智能全自动替换方法
CN108320294B (zh) * 2018-01-29 2021-11-05 袁非牛 一种二代身份证照片的人像背景智能全自动替换方法
CN108596913A (zh) * 2018-03-28 2018-09-28 众安信息技术服务有限公司 一种抠图方法及装置
CN108460383B (zh) * 2018-04-11 2021-10-01 四川大学 基于神经网络与图像分割的图像显著性精化方法
CN108460383A (zh) * 2018-04-11 2018-08-28 四川大学 基于神经网络与图像分割的图像显著性精化方法
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109493363B (zh) * 2018-09-11 2019-09-27 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109785329A (zh) * 2018-10-29 2019-05-21 重庆师范大学 基于改进slic算法的紫色土图像分割提取方法
CN109785329B (zh) * 2018-10-29 2023-05-26 重庆师范大学 基于改进slic算法的紫色土图像分割提取方法
CN109461158A (zh) * 2018-11-19 2019-03-12 第四范式（北京）技术有限公司 彩色图像分割方法及系统
CN111383232B (zh) * 2018-12-29 2024-01-23 Tcl科技集团股份有限公司 抠图方法、装置、终端设备及计算机可读存储介质
CN111383232A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 抠图方法、装置、终端设备及计算机可读存储介质
CN111435282A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN109540925A (zh) * 2019-01-23 2019-03-29 南昌航空大学 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN109540925B (zh) * 2019-01-23 2021-09-03 南昌航空大学 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN110111342B (zh) * 2019-04-30 2021-06-29 贵州民族大学 一种抠图算法的优化选取方法及装置
CN110111342A (zh) * 2019-04-30 2019-08-09 贵州民族大学 一种抠图算法的优化选取方法及装置
CN110298861A (zh) * 2019-07-04 2019-10-01 大连理工大学 一种基于共享采样的快速三维图像分割方法
CN110288617A (zh) * 2019-07-04 2019-09-27 大连理工大学 基于共享抠图和roi渐变的人体切片图像自动分割方法
CN110288617B (zh) * 2019-07-04 2023-02-03 大连理工大学 基于共享抠图和roi渐变的人体切片图像自动分割方法
CN110415273A (zh) * 2019-07-29 2019-11-05 肇庆学院 一种基于视觉显著性的机器人高效运动跟踪方法及系统
CN110400323A (zh) * 2019-07-30 2019-11-01 上海艾麒信息科技有限公司 一种自动抠图系统、方法以及装置
CN112396610A (zh) * 2019-08-12 2021-02-23 阿里巴巴集团控股有限公司 一种图像处理方法、计算机设备、存储介质
CN110503704B (zh) * 2019-08-27 2023-07-21 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备
CN110751654A (zh) * 2019-08-30 2020-02-04 稿定（厦门）科技有限公司 图像抠图方法、介质、设备及装置
CN110751655B (zh) * 2019-09-16 2021-04-20 南京工程学院 一种基于语义分割和显著性分析的自动抠图方法
CN110751655A (zh) * 2019-09-16 2020-02-04 南京工程学院 一种基于语义分割和显著性分析的自动抠图方法
CN111784726B (zh) * 2019-09-25 2024-09-24 北京沃东天骏信息技术有限公司 人像抠图方法和装置
CN111784726A (zh) * 2019-09-25 2020-10-16 北京沃东天骏信息技术有限公司 人像抠图方法和装置
CN110956681A (zh) * 2019-11-08 2020-04-03 浙江工业大学 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN110956681B (zh) * 2019-11-08 2023-06-30 浙江工业大学 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN111028259B (zh) * 2019-11-15 2023-04-28 广州市五宫格信息科技有限责任公司 一种通过图像显著性改进适应的前景提取方法
CN111028259A (zh) * 2019-11-15 2020-04-17 广州市五宫格信息科技有限责任公司 一种通过图像显著性改进适应的前景提取方法
CN113052755A (zh) * 2019-12-27 2021-06-29 杭州深绘智能科技有限公司 一种基于深度学习的高分辨率图像智能化抠图方法
CN111161286B (zh) * 2020-01-02 2023-06-20 大连理工大学 一种交互式自然图像抠图方法
CN111161286A (zh) * 2020-01-02 2020-05-15 大连理工大学 一种交互式自然图像抠图方法
CN111462027A (zh) * 2020-03-12 2020-07-28 中国地质大学（武汉） 基于多尺度梯度和抠图的多聚焦图像融合方法
CN111462027B (zh) * 2020-03-12 2023-04-18 中国地质大学（武汉） 基于多尺度梯度和抠图的多聚焦图像融合方法
CN111563908A (zh) * 2020-05-08 2020-08-21 展讯通信（上海）有限公司 一种图像处理方法及相关装置
CN111862110A (zh) * 2020-06-30 2020-10-30 辽宁向日葵教育科技有限公司 一种绿幕抠像方法、系统、设备和可读存储介质
CN111932447A (zh) * 2020-08-04 2020-11-13 中国建设银行股份有限公司 一种图片处理方法、装置、设备及存储介质
CN111932447B (zh) * 2020-08-04 2024-03-22 中国建设银行股份有限公司 一种图片处理方法、装置、设备及存储介质
CN111931688A (zh) * 2020-08-27 2020-11-13 珠海大横琴科技发展有限公司 船只识别方法、装置、计算机设备及存储介质
CN112183248A (zh) * 2020-09-14 2021-01-05 北京大学深圳研究生院 一种基于逐通道时空表征学习的视频显著性物体检测方法
CN112149592A (zh) * 2020-09-28 2020-12-29 上海万面智能科技有限公司 图像处理方法、装置以及计算机设备
CN112200826A (zh) * 2020-10-15 2021-01-08 北京科技大学 一种工业弱缺陷分割方法
CN112200826B (zh) * 2020-10-15 2023-11-28 北京科技大学 一种工业弱缺陷分割方法
CN112101370B (zh) * 2020-11-11 2021-08-24 广州卓腾科技有限公司 一种纯色背景图像自动抠像方法、计算机可读存储介质及设备
CN112101370A (zh) * 2020-11-11 2020-12-18 广州卓腾科技有限公司 一种纯色背景图像自动抠像算法、计算机可读存储介质及设备
CN112634312B (zh) * 2020-12-31 2023-02-24 上海商汤智能科技有限公司 图像背景处理方法、装置、电子设备及存储介质
CN112634312A (zh) * 2020-12-31 2021-04-09 上海商汤智能科技有限公司 图像背景处理方法、装置、电子设备及存储介质
CN112801896B (zh) * 2021-01-19 2024-02-09 西安理工大学 基于前景提取的逆光图像增强方法
CN112801896A (zh) * 2021-01-19 2021-05-14 西安理工大学 基于前景提取的逆光图像增强方法
CN112634314A (zh) * 2021-01-19 2021-04-09 深圳市英威诺科技有限公司 目标图像获取方法、装置、电子设备及存储介质
CN113271394A (zh) * 2021-04-07 2021-08-17 福建大娱号信息科技股份有限公司 一种无蓝绿自然背景的ai智能抠像方法及终端
CN113724175A (zh) * 2021-04-15 2021-11-30 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置及电子设备
CN113487630A (zh) * 2021-07-14 2021-10-08 辽宁向日葵教育科技有限公司 一种基于材质分析技术的抠像方法
CN113902656A (zh) * 2021-08-17 2022-01-07 浙江大华技术股份有限公司 一种宽动态图像融合方法、设备及计算机可读存储介质
CN113870298A (zh) * 2021-09-07 2021-12-31 中国人民解放军海军航空大学 一种水面目标阴影的提取方法、装置、电子设备和存储介质
CN114078139A (zh) * 2021-11-25 2022-02-22 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114078139B (zh) * 2021-11-25 2024-04-16 四川长虹电器股份有限公司 基于人像分割模型生成结果的图像后处理方法
CN114677394B (zh) * 2022-05-27 2022-09-30 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议系统、电子设备及介质

Also Published As

Publication number Publication date
CN107452010B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN107452010B (zh) 一种自动抠图算法和装置
CN109522908B (zh) 基于区域标签融合的图像显著性检测方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN109154978B (zh) 用于检测植物疾病的系统和方法
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN110738676A (zh) 一种结合RGBD数据的GrabCut自动分割算法
CN109035196B (zh) 基于显著性的图像局部模糊检测方法
CN106296695A (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN103985130B (zh) 一种针对复杂纹理图像的图像显著性分析方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN108596923A (zh) 三维数据的获取方法、装置以及电子设备
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN106157330A (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN107886471B (zh) 一种基于超像素投票模型的照片多余物体去除方法
CN116229205A (zh) 基于小样本特征迁移的口红产品表面缺陷数据增广方法
CN110705634A (zh) 一种鞋跟型号识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220921

Address after: No. 333, Feiyue East Road, High-tech Industrial Development Zone, Changchun City, Jilin Province, 130012

Patentee after: Changchun Changguang Qiheng Sensing Technology Co.,Ltd.

Address before: 130033, 3888 southeast Lake Road, Jilin, Changchun

Patentee before: CHANGCHUN INSTITUTE OF OPTICS, FINE MECHANICS AND PHYSICS, CHINESE ACADEMY OF SCIENCE