Nothing Special   »   [go: up one dir, main page]

WO2014183275A1 - 一种基于在线学习的局部可形变目标检测方法及其系统 - Google Patents

一种基于在线学习的局部可形变目标检测方法及其系统 Download PDF

Info

Publication number
WO2014183275A1
WO2014183275A1 PCT/CN2013/075637 CN2013075637W WO2014183275A1 WO 2014183275 A1 WO2014183275 A1 WO 2014183275A1 CN 2013075637 W CN2013075637 W CN 2013075637W WO 2014183275 A1 WO2014183275 A1 WO 2014183275A1
Authority
WO
WIPO (PCT)
Prior art keywords
target detection
detection model
image
local
deformable
Prior art date
Application number
PCT/CN2013/075637
Other languages
English (en)
French (fr)
Inventor
王亮
黄永祯
唐微
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Priority to PCT/CN2013/075637 priority Critical patent/WO2014183275A1/zh
Publication of WO2014183275A1 publication Critical patent/WO2014183275A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Definitions

  • the present invention relates to the field of pattern recognition and machine learning, and in particular to a method and system for deformable object detection based on an online learning part.
  • the local deformable target detection model is one of the most robust target detection models at present, but its training process is very time consuming and cannot update the model with new samples, so it is difficult
  • the method for detecting local deformable objects based on online learning disclosed in the present invention comprises: Step 1: Using a sample image in a training set to train a local deformable target detection model, and obtaining a local deformable target detection model after initial training;
  • the above method proposed by the present invention also utilizes GUI annotations for online learning.
  • the annotation method is fast in labeling, simple in operation, and combined with the online learning algorithm, can obtain better detection effects than conventional methods. It is even possible to use infinite data for detection on a machine with only normal memory and to update the target detection model in real time. Great savings The training time of the model can also make full use of all available data to improve the detection ability of the target detection model. In the present invention, since the local deformable target detection model is used, the robustness of the detection is fully ensured while pursuing real-time updating.
  • Step 1 feature extraction and feature dimension compression, that is, extract image features and target annotations of the training set sample image, and compress the image feature dimension;
  • the image features may be various HOG features, LBP features, etc. a feature suitable for target detection, the target annotation being used to indicate whether the target image and the location of the target are included in the sample image;
  • Step 2 Local deformable target detection model training; the local deformable target detection model is used to detect whether a target is included in the image to be detected, and the target is marked in the image; the support vector machine is preferably used in the step
  • the initial local deformable target detection model is trained, including:
  • Step 4 Target detection and online learning method marked by GUI update the local deformable target detection model; when the first online learning starts, the local deformable target detection model is an initial local deformable target detection The model, and later learning, uses the previously modified local deformable target detection model.
  • the step specifically includes: step 41: extracting an image feature of the newly input sample image, and performing a feature dimension step 42, and using the local deformable target detection model pair according to the extracted image feature The new sample image is detected and the detection result is output;
  • Step S1 collecting multiple images including the target and the background, and establishing a target detection database;
  • Step S2 performing coordinate labeling on the targets in all the images in the target detection database, that is, indicating the specific position of the target in the image, and using coordinates
  • the form is represented, and the target detection database is divided into a training set and a test set;
  • Step S3 extracting features of all images in the training set, and performing feature dimension pressing
  • the feature of one sample image represents tag information of the first sample image, and the tag information is used to indicate whether the image contains a target to be detected.
  • the extracted features may be HOG features, LBP features, or other features that can linearly separate the target from the background image. Dimension compression of features can use PCA or other efficient methods.
  • Step S4 initializing the local deformable target detection model as the target detection model, determining the number of partial filters according to the number of local details of the target to be detected, and the global model (root filter), all local models ( Part filters) and deformable cost are initialized;
  • Step S5 sending the feature of the above training set image and the corresponding annotation into the support vector machine
  • the form of the support vector machine can select a linear support vector machine (linear kernel) or a nonlinear support vector machine (polynomial kernel, Gaussian kernel, etc.) as needed.
  • the target function corresponding to the support vector machine can select the above objective function (3), and can also select interval maximization, hinge loss function, and the like.
  • the optimization algorithm can choose stochastic gradient descent algorithm, convex quadratic programming and sequence minimum optimization algorithm (SMO).
  • Step S7 randomly taking an image from the image of the detection set, extracting features of the image, and performing feature dimension compression; wherein the extracted image may be all images in the detection set, or may occur during normal detection. Misdetected image.
  • Step S10 inputting the characteristics of the image and the label input thereof, and updating the local deformable target detection model by using an online learning algorithm to obtain an updated local deformable target detection model;
  • the online learning PA algorithm which is fast and efficient is preferably used in the present invention, but other online learning algorithms may also be used.
  • ⁇ [ b]
  • ⁇ ⁇ ⁇ ⁇ 1] ⁇
  • the label vector of the image which takes a value of +1 or -1, indicates whether there is or is no target in the image, and ⁇ represents the feature vector of the image.
  • the resulting updated parameter: ⁇ +1 ⁇ + ⁇ ⁇ .
  • t is the t-th online learning performed.
  • Step S2 performing coordinate labeling on the images in all the training sets, indicating the specific position of the target in the image, and expressing it in the form of coordinates;
  • the traditional target detection method all training samples are used together, the target detection model is trained, and then tested. When it is necessary to update the model with the newly collected data, it is necessary to combine the new data with the previous training set, and then train the target detection model again, and then continue the detection.
  • the online updating device of the local deformable target detection model comprises: a sample feature extraction module, a GUI annotation module, an update module and a detection capability test module.
  • the sample feature extraction module is configured to extract image features of the newly input sample image and perform feature dimension compression; wherein the latest local deformable target detection model may be a local deformable target detection model training
  • the initial local deformable target detection model obtained by the device may also be a locally deformable target detection model recently updated by the online update device of the local deformable target detection model;
  • the GUI annotation module is used for the new sample in the GUI interface
  • An annotation is used to mark whether the new sample contains the target and the location of the target in the GUI interface;
  • the update module is configured to use the online learning according to the feature of the new sample image and the annotation result
  • the algorithm updates the local deformable target detection model, To the updated local deformable target detection model;
  • the detection capability test module is configured to test the detection capability of the updated local deformable target detection model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于在线学习的局部可形变目标检测方法及其系统。该方法包括：歩骤1、利用训练集中的样本图像对局部可形变目标检测模型进行训练，得到初歩训练后的局部可形变目标检测模型；歩骤2、利用所述局部可形变目标检测模型对待测图像进行目标检测，并利用GUI标注在线学习方法对已有的局部可形变目标检测模型进行更新优化。本发明的上述方法将整个耗时的训练过程分布在每次目标检测之中，同时模型可以实时更新，局部可形变检测模型鲁棒性会进一歩得到提升，且对内存需求量不大。根据本发明的上述方法，在大数据背景下，可以快速有效地处理用于目标检测的数据。

Description

一种基于在线学习的局部可形变目标检测方法及其系统 技术领域 本发明涉及模式识别和机器学习领域， 特别涉及一种基于在线学习 部可形变目标检测方法及其系统。
背景技术 传统的目标检测是利用从图像中提取的特征， 使用支持向量机做训 练得到一个目标检测模型， 然后利用训练得到的目标检测模型进行检测。 这种方法在模型不是很复杂， 训练样本不多， 实时性要求不高的时候是 可行的。 在大规模数据背景下， 训练数据非常大， 并且是陆续收集得到 的。 每收集到一个新的数据集， 如果想要对模型进行更新， 就需要对新 的训练数据进行标注， 再将以前的训练数据和新的训练数据合并以后， 重新进行训练。 这样做不仅标注操作过程复杂， 并且对复杂模型 （例如 鲁棒性很好的局部可形变目标检测模型） 重新训练十分耗时， 需要消耗 大量内存容量， 更无法在检测过程中对模型进行实时更新。 特别地， 如 果训练数据特别大， 只是内存容量就可能无法满足训练需求。
另外，常规的在线学习需要事先对图像进行坐标标注，标注过程慢， 实行起来复杂， 尤其是图像较多或者同一图像中目标较多的时候， 这种 方法十分费时费力。
局部可形变目标检测模型是当前最鲁棒的目标检测模型之一， 但其 训练过程十分耗时， 并且无法利用新的样本对模型进行更新， 因此很难
发明内容 为了解决传统的目标检测方法在处理大规模数据背景下的训练数 据存在的不足，如模型鲁棒性差、标注复杂、训练速度慢、 占用内存大、 操作不方便、 无法实时更新等， 本发明提供了一种在线学习的局部可形 变目标检测方法及其系统。
本发明公开的基于在线学习的局部可形变目标检测方法， 其包括： 歩骤 1、 利用训练集中的样本图像对局部可形变目标检测模型进行 训练， 得到初歩训练后的局部可形变目标检测模型；
歩骤 2、 利用所述局部可形变目标检测模型对待测图像进行目标检 测， 并利用 GUI标注在线学习方法对已有的局部可形变目标检测模型进 行更新优化。
本发明公开的基于在线学习的局部可形变目标检测系统， 其包括： 局部可形变目标检测模型训练装置， 其利用训练集中的样本图像对 局部可形变目标检测模型进行训练， 得到初歩训练后的局部可形变目标 局部可形变目标检测模型的在线更新装置， 其利用 GUI标注在线学 习方法对已有的局部可形变目标检测模型进行更新优化；
目标检测装置， 其利用局部可形变目标检测模型对待测图像进行目 根据本发明的上述方法， 在大数据背景下， 可以快速有效地处理用 于目标检测的数据。 上述方法开始时， 可以使用数据量不大的训练集训 练支持向量机得到一个基本的局部可形变目标检测模型。 以后， 每进行 一次检测， 如果检测错误或者检测得分偏低时， 使用 GUI界面进行一次 标注， 再利用在线学习算法对局部可形变目标检测模型更新一次即可。 这样做， 将整个耗时的训练过程分布在每次目标检测之中， 同时模型可 以实时更新， 局部可形变检测模型鲁棒性会进一歩得到提升， 且对内存 需求量不大。 即使是检测的样本是无限大的， 也可以在只拥有常规内存 的机器上做训练。
另外， 本发明提出的上述方法还利用 GUI标注进行在线学习， 这种 标注方法标注速度快， 操作简单， 并且与在线学习算法做好结合后， 可 以得到与常规方法更佳的检测效果。 甚至可以在只拥有普通内存的机器 上， 使用无穷的数据进行检测， 同时实时更新目标检测模型。 大大节省 了模型的训练时间， 也可以充分利用所有可以利用的数据， 来提高目标 检测模型的检测能力。 本发明中由于使用了局部可形变目标检测模型， 在追求实时更新的同时， 充分保证了检测的鲁棒性。
使用者还可以根据实际情况， 既可以选择一边检测， 一边进行在线 学习； 也可以选择只进行检测， 不进行在线学习； 更可以选择将检测过 程中发生误检的样本搜集在一起，一次性进行在线更新，使用十分灵活。
附图说明 图 1是本发明中基于在线学习的局部可形变目标检测方法流程图。 图 2是本发明中行人检测的局部可形变目标检测模型示例图。
图 3是本发明另一优选实施例中基于在线学习的局部可形变目标检 测方法流程图。
图 4是本发明中基于在线学习的局部可形变目标检测系统的结构框 图。
具体实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体 实施例， 并参照附图， 对本发明作进一歩的详细说明。
本发明公开了一种基于在线学习的局部可形变目标检测方法及其 系统。
图 1示出了本发明公开的基于在线学习的局部可形变目标检测方法 流程图。 该方法可以用于大规模数据背景下的实时目标检测领域。 如图 1所示， 该方法包括：
歩骤 1、 特征提取与特征维数压缩， 即提取训练集样本图像的图像 特征和目标标注， 并对所述图像特征维数进行压缩； 所述图像特征可以 为 HOG特征、 LBP特征等各种适合于目标检测的特征， 所述目标标注 用于表示样本图像中是否包含目标以及目标的位置等； 歩骤 2、 局部可形变目标检测模型训练； 所述局部可形变目标检测 模型用来检测待检测图像中是否含有目标， 并将目标在图像中标出； 该 歩骤中优选地利用支持向量机先训练出初始的局部可形变目标检测模 型， 具体包括：
歩骤 21、初始化一个局部可形变目标检测模型， 包括确定局部模型 的个数， 并对模型中全局模型、 所有局部模型以及可形变损失进行初始 化；
图 2示出了本发明中行人检测的局部可形变目标检测模型的示例图。 从图中可以看出， 局部可形变目标检测模型主要由三部分构成： 一个是 比较粗糙的根滤波器 （rootf i lter ) , 即全局模型， 其几乎覆盖了整个 待检测的目标， 主要用于捕捉待检测目标的边缘， 如图 2左边所示的整 个人体的外形； 多个比较精细的局部滤波器 （partfi lters ) 即局部模 型， 这些滤波器覆盖了一个目标的一些具体的局部细节， 用于捕捉待检 测目标的一些局部细节的特征， 如图 2中间所示的人的头部， 四肢， 躯 干等； 还有一个形变代价 （deformationcost ) 即可形变损失， 其用来 衡量各个局部滤波器发生移动时相对于初始位置所付出的代价， 如图 2 右边所示， 人体检测中， 人的头部合理的位置应是位于全局模型顶部居 中的位置， 如果捕捉头部的局部模型偏离这个位置， 将要给出一定的惩 罚， 称之为可行变损失。
传统的目标检测模型只相当于局部可形变目标检测模型中的根滤 波器， 因此只能捕捉到目标的粗糙部分， 而局部可形变目标检测模型由 于建立了多个局部滤波器和对应损失代价， 因而能捕捉到更为精细的局 部特征， 有效的提高了检测能力。 例如建立了一个人脸检测的模型， 根 滤波器只能捕捉人脸的边缘这样的粗糙的部分。 而局部滤波器却能捕捉 到一些细节部分， 例如人的眼睛， 鼻子， 嘴巴等。
歩骤 22、将训练集中图像的特征以及目标标注送入分类器以对所述 初始局部可形变目标检测模型进行训练， 得到初歩训练后的局部可形变 目标检测模型。 本发明中优选支持向量机 （SVM) 做训练。 所述 SVM 是分类器的一种， 其能将局部可形变目标检测模型和图像的特征融合起 来， 进而能对输入的特征产生检测结果。 选择 SVM这种分类器是因为 可以利用 SVM中的间隔最大化对局部可形变目标检测模型参数进行优 化； 所述支持向量机优先选择如下所示的线性支持向量机：
i^b {X ) = wTX + b ( 1 ) 其中， X是从训练样本提取出来的按行或者列排列的形式构成的图 像特征向量， w和 b是通过支持向量机学习得到的局部可形变目标检测 模型的参数， w表示局部可形变目标检测模型中对来自图像的各个图像 特征所取的权重值； b是一个偏置项， 为了使不同局部可形变目标检测 模型的检测的得分 /W^ Q之间具有可比性； 所述支持向量机也可以根据 需要选择非线性支持向量机；
歩骤 3、 局部可形变目标检测模型测试， 即利用测试集对所得到的 初始局部可形变目标检测模型进行测试， 也就是说， 使用所述初始局部 可形变目标检测模型对测试集中的样本图像进行检测， 然后根据检测结 果进行判断该初始局部可形变目标检测模型的检测能力， 例如所述初始 局部可形变目标检测模型的检测能力通过其对测试集中目标图像的识 别率高低来衡量； 这里进行测试是为了与在线学习后的模型的检测能力 进行对比， 以便调整在线学习算法的参数。
歩骤 4、 目标检测及利用 GUI标注的在线学习方法对所述局部可形 变目标检测模型进行更新； 第一次在线学习开始时， 所述局部可形变目 标检测模型即为初始局部可形变目标检测模型， 而之后的学习中， 均使 用之前更新过的局部可形变目标检测模型。 所述该歩骤具体包括： 歩骤 41、 对新输入的样本图像， 提取其图像特征， 并进行特征维数 歩骤 42、根据所提取的图像特征， 利用所述局部可形变目标检测模 型对该新的样本图像进行检测， 并输出检测结果；
歩骤 43、如果检测结果错误， 或者得分/^&( 0偏低， 则将对其进行 在线学习， 否则， 转至歩骤 41 ; 在线更新前， 对该新的样本在 GUI界面 上进行标注， 所述标注用于在 GUI界面标注所述新的样本中是否含有目 标以及目标所在的位置； 歩骤 44、根据所述新的样本图像的特征和标注结果， 利用在线学习 算法对所述局部可形变目标检测模型进行更新， 得到更新后的局部可形 变 目 标检测模型； 所述的在线学习 算法可以选择在线
Passive-Aggressive算法， Winnow算法
歩骤 45、 当有新的图像样本输入且学习次数未达到上限时， 转歩骤 41； 否则， 转歩骤 46 ;
歩骤 46、对更新后的局部可形变目标检测模型的检测能力进行测试。 通过本发明提出的上述方法， 在利用所述局部可形变目标检测模型 对待测图像中的目标进行检测的同时， 利用在线学习方法更新所述局部 可形变目标检测模型， 以便下次检测使用。
本发明提出的上述方法主要涉及到在大规模数据环境下， 快速有效 地利用当前未进行标注的新样本和有限的内存来及时更新已训练局部 可形变目标检测模型的过程。
图 3示出了本发明另一实施例中基于在线学习的目标检测方法流程 图。 如图 3所示， 该方法包括以下歩骤：
歩骤 Sl， 收集多幅包含目标和背景的图像， 建立目标检测数据库； 歩骤 S2， 对目标检测数据库中所有图像中的目标进行坐标标注， 即 指出目标在图像中的具体位置， 并用坐标的形式表示出来， 并将所述目 标检测数据库分为训练集和测试集；
歩骤 S3， 提取所述训练集中所有图像的特征， 并进行特征维数的压
该歩骤中， 从训练集 y^v=i中提取出图像的特征 其 中， N表示训练集中图像样本个数， ^表示第 1个样本图像， 表示第
1个样本图像的特征， 表示第 1个样本图像的标记信息， 该标记信息 用于表示该图像中是否含有待检测的目标。 提取的特征可以是 HOG特 征， LBP特征，也可以是其他可以线性地将目标与背景图像分开的特征。 特征的维数压缩可以使用 PCA或者其他有效的方法。 歩骤 S4， 初始化局部可形变目标检测模型作为目标检测模型， 根据 待检测目标的局部细节数量确定局部模型 （part filter) 的个数， 并对模 型中全局模型 （root filter), 所有局部模型 （part filters) 以及形变损失 ( deformable cost ) 进行初始化；
歩骤 S5 ,将上述训练集中图像的特征和相应的标注送入支持向量机
^Ax ) = wT x + b , 以对所述局部可形变目标检测模型做训练。 训练 过程如下：
在 SVM训练中， 对于输入的第 1个图像的特征 χέ， 首先在图像中找 到使得函数 f(x = wT Xi + &的函数值最大的位置， 在搜索寻找过程中， 优先寻找坐标标注附近的区域以减少计算量， 这个过程可以用如下公式 表不：
f(w,b) Oi) = maxzez(Xi) (wT xt + b) ( 2 ) 其中 Z(xJ表示第 i个图像中所有可能位置， z表示使得函数值最大 的位置。
随后， 利用随机梯度下降法或者其它优化算法对所述支持向量机进 行最小化， 所述最小化的目标函数如下表示：
L(w, b) = I M 12 + 11 h 112 + C∑？ max (0, 1 — y (Wib) (χ,)) ( 3 ) 其中， C控制着最后一项在整个函数中所占的权重， ： ^取值为 +1或 者 -1， 分别表示图像中有或者没有目标， n 为训练集中图像的数目， 如 此循环进行， 就可以得到优化后的局部可形变目标检测模型。 局部可形 变目标检测模型用来检测待检测图像中是否含有目标， 并将目标在图像 中标出。
在这一歩中， 支持向量机的形式可以根据需要选择线性支持向量机 (线性核） 或者非线性支持向量机 （多项式核、 高斯核等）。 而支持向 量机对应的目标函数可以选择上述目标函数 （3 )， 也可以选择间隔最大 化、 合页损失函数等。 优化算法可以选择随机梯度下降算法、 凸二次规 划和序列最小最优化算法 （SMO) 等。 歩骤 S6， 使用上述测试集对局部可形变目标检测模型进行测试， 对 检测能力比较重要的评价标准是当负样本 （即不含目标的图像） 被误检 测的比例为一万分之一时， 正样本 （即含有目标的图像） 被误检测的比 例；
歩骤 S7，随机从检测集的图像中取出一张图像，提取该图像的特征， 并进行特征维数压缩；其中，所提取的图像可以是检测集中的所有图像， 也可以是正常检测时发生误检的图像。
歩骤 S8,将上述提取到的要检测图像的特征向量输入至已训练的局 部可形变目标检测模型， 以对要检测的图像进行检测，并输出检测结果; 歩骤 S9， 如果检测结果错误， 或者得分/^&( 0偏低， 则将对其进行 在线学习， 否则， 转至歩骤 S7; 在线更新前， 对已检测图像在 GUI界 面上进行判定， 即对图像进行目标标注；
歩骤 S10, 将上述图像的特征及其标注输入， 使用在线学习算法对 局部可形变目标检测模型进行更新， 得到更新的局部可形变目标检测模 型；
在这一歩中， 本发明中优选使用运行快、 效率高的在线学习 PA算 法， 但也可以使用其他在线学习算法。 PA 算法使用合页损失函数： Zt=max {0,l — yt H t * ^)}来计算学习歩长。其中 ^ = [ b] , Χ = ί χ^ 1] τ。 学习步长为 ^ = _^ , 其中 IIXJI2为 xt的二范数，； yt作用同前面的 ，
II Χί II
即图像的标注向量，取值为 +1或者 -1，分别表示图像中有或者没有目标， ^表示图像的特征向量。 所得更新后的参数： ^+1 = ^ + Λ ^。 这里的 t是指进行的第 t次在线学习。
歩骤 S11 , 当图像达到检测集 （由收集进行检测时所有的已检测图 像建立的） 所设定的数量上限时， 进行对更新后目标检测模型检测能力 的测试， 以便及时调整所述在线学习算法的参数。 对检测能力比较重要 的评价标准是当负样本被误检的比例为一万分之一时， 正样本被误检的 比例； 上述方法中， 每当输入一幅图像时， 就使用 S7-S10进行一次检测， 同时使用 GUI对其进行标注， 利用在线学习的 PA算法更新一次目标检 测模型。 每当检测数量达到设定的上限时， 利用已经检测的图像建立检 测集， 使用 S11测试目标检测模型的检测能力 （注意， 此时不使用在线 学习）。 每当需要进行目标检测时， 可以使用这一歩一直做下去。
为验证本发明的实际效果， 下面以 INRIA的 pedestrian数据库为例 说明本发明提出的上述方法。 在该目标检测数据库的原始训练集中， 包 含有 614张固定尺寸的人物图像和 1218张完整的背景图像， 在应用本 发明中， 将原始训练集一分为二， 第一部分 307张固定尺寸的人物图像 和 609张完整的背景图像作为新的训练集， 用作训练基本的局部可形变 目标检测模型， 另一部分 307张固定尺寸的人物图像和 609张完整的背 景图像作为检测集， 用于后续的检测和更新。 测试集中包含 288张固定 尺寸的人物图像和 453张完整的背景图像。下面使用基于 GUI标注在线 学习的局部可形变目标检测方法对局部可形变目标检测模型进行训练。 具体实现歩骤如下：
歩骤 Sl， 将所有新训练集中的所有样本作为训练集， 将所有测试样 本作为测试集；
歩骤 S2,对所有的训练集中的图像进行坐标标注即指出目标在图像 中的具体位置， 并用坐标的形式表示出来；
歩骤 S3， 提取出训练集和测试集中图像的 HOG特征， 并进行降维 处理；
歩骤 S4， 选择局部可形变目标检测模型作为目标检测模型， 根据待 检测目标的局部细节数量确定局部模型 （part filter) 的个数， 并对模型 中全局模型 （root filter) 和所有局部模型 （part filters) 以及形变损失 ( deformable cost ) 进行初始化；
歩骤 S5， 将 S3中提取到的特征及其样本的标注信息使用支持向量 机 （SVM) 做训练， 得到已训练的局部可形变目标检测模型；
歩骤 S6,将 S4中得到的局部可形变目标检测模型用测试集做测试， 计算出当前局部可形变目标检测模型的检测效果； 歩骤 S7，随机从检测集中取出一张图像，提取检测集中图像的 HOG 特征， 并进行降维处理；
歩骤 S8, 输入该图像的特征向量， 利用已训练的局部可形变目标检 测模型对其进行检测， 输出检测结果；
歩骤 S9， 如果检测结果错误， 或者得分/^&( 0偏低， 则将对其进行 在线学习， 否则， 转至歩骤 S7; 在线更新前， 对已检测图像在 GUI界 面上进行坐标标注；
歩骤 S10, 将该图像的特征及其标注输入， 使用在线学习算法对局 部可形变目标检测模型进行更新， 得到更新的目标检测模型；
歩骤 S11 , 当图像达到检测集上限时， 进行对更新后的局部可形变 目标检测模型检测能力的测试。 对检测能力比较重要的评价标准是当负 样本被误检的比例为一万分之一时， 正样本被误检的比例；
本发明的上述方法中，每当输入一幅图像时，就使用 S7-S10进行一 次检测， 同时使用 GUI对其进行标注， 利用在线学习算法更新一次目标 检测模型。 每当检测数量达到设定的上限时， 利用已经检测的图像建立 检测集， 使用 S11测试目标检测模型的检测能力 （注意， 此时不使用在 线学习）。 每当需要进行目标检测时， 可以使用这一歩一直做下去。
传统的目标检测方法， 所有训练样本一起使用， 对目标检测模型进 行训练， 然后进行检测。 当需要利用新收集到的数据对模型更新时， 需 要将新的数据和以前的训练集合并起来， 再一次对目标检测模型进行训 练， 然后继续检测。
本发明公开的上述方法， 可以用于大规模数据背景下的实时目标检 测领域。 此方法包括特征提取与特征维数压缩， 局部可形变目标检测模 型训练，局部可形变目标检测模型测试和 GUI标注的在线学习四个部分。 主要涉及到在大规模数据环境下， 快速有效地利用当前的未进行标注的 新样本和有限的内存来及时更新已训练局部可形变目标检测模型的过 程。 首先， 提取模式的特征并对特征维数进行降维； 然后， 使用利用支 持向量机训练出初歩的局部可形变目标检测模型。 当使用初始目标检测 模型进行目标检测时， 利用接收到的新的样本， 对其提取图像特征并对 特征维数进行压缩， 然后利用 GUI界面进行坐标标注， 使用在线学习算 法更新目标检测模型。 相对于常规目标检测方法和已有的在线学习方法， 该方法选用了局部可形变目标检测模型为检测模型， 鲁棒性好； 训练模 型时， 所需的训练样本少， 有效解决局部可形变模型的训练十分耗时问 题； 更新时样本少， 所以占用内存小； 对输入的新样本无需事先进行标 注， 并且后来所用 GUI标注也比十分简单， 能利用新输入的样本及时对 目标检测模型进行更新， 得到的目标检测模型实时性和鲁棒性好。 经过 实验证明， 可得到与常规方法更佳的检测效果。
为此，本发明提出了在线学习的局部可形变目标检测算法。一开始， 可以使用数据量不大的训练集训练支持向量机得到一个基本的局部可 形变目标检测模型。 以后， 每进行一次检测， 使用 GUI界面进行一次标 注， 再利用在线学习算法对局部可形变目标检测模型更新一次即可。 这 样做， 将整个耗时的训练过程分布在每次目标检测之中， 同时模型可以 实时更新， 局部可形变检测模型鲁棒性会进一歩得到提升， 且对内存需 求量不大。 即使是检测的样本是无限大的， 也可以在只拥有常规内存的 机器上做训练。
本发明提出的上述目标检测方法利用 GUI标注的在线学习方法， 这 种方法在检测完成后进行， 并且对图像中包含的目标进行坐标标注。 这 种标注方法标注速度快， 操作简单， 并且与在线学习算法做好结合后， 可以得到与常规方法更佳的检测效果。
本发明还公开了一种基于在线学习的局部可形变目标检测系统。 图 4示出了本发明公开的基于在线学习的局部可形变目标检测系统 结构图。 该系统可以用于大规模数据背景下的实时目标检测领域。 如图 4所示， 该系统包括：
特征提取与特征维数压缩装置， 其用于提取训练集样本图像的特征， 并对所述特征维数进行压缩； 所述特征可以为 HOG特征、 LBP特征等 各种适合于目标检测的特征； 局部可形变目标检测模型训练装置， 其用于训练出初始的局部可形 变目标检测模型； 所述局部可形变目标检测模型用来检测待检测图像中 是否含有目标， 并将目标在图像中标出。
所述局部可形变目标检测模型训练装置包括： 初始化模块和分类训 练模块。 其中， 所述局部可形变目标检测模型的初始化模块用于选择当 前需要进行训练的局部可形变目标检测模型， 确定局部模型的个数， 并 对模型中全局模型、 所有局部模型以及可形变损失进行初始化； 所述局 部可形变目标检测模型的分类训练模块用于将训练集中图像的特征以 及目标在图像中位置的标注送入分类器做训练， 以得到优化后的初始局 部可形变目标检测模型。
局部可形变目标检测模型的测试装置， 其利用测试集对所得到的初 始局部可形变目标检测模型进行测试； 也就是说， 使用所述初始局部可 形变目标检测模型对测试集中的样本图像进行检测， 然后根据检测结果 进行判断该初始局部可形变目标检测模型的检测能力， 例如所述初始局 部可形变目标检测模型的检测能力通过其对测试集中目标图像的识别 率高低来衡量。
局部可形变目标检测模型的在线更新装置， 其利用 GUI标注的在线 学习方法对所述局部可形变目标检测模型进行更新； 在线学习开始时， 所述局部可形变目标检测模型即为初始局部可形变目标检测模型。
该局部可形变目标检测模型的在线更新装置包括： 样本特征提取模 块、 GUI 标注模块、 更新模块和检测能力测试模块。 其中， 所述样本特 征提取模块用于对新输入的样本图像， 提取其图像特征， 并进行特征维 数压缩； 其中， 最新的所述局部可形变目标检测模型可以是局部可形变 目标检测模型训练装置得到的初始局部可形变目标检测模型， 也可以是 局部可形变目标检测模型的在线更新装置最近更新后的局部可形变目 标检测模型； 所述 GUI标注模块用于对该新的样本在 GUI界面上进行标 注， 所述标注用于在 GUI界面标注所述新的样本中是否含有目标以及目 标所在的位置； 所述更新模块用于根据所述新的样本图像的特征和标注 结果， 利用在线学习算法对所述局部可形变目标检测模型进行更新， 得 到更新后的局部可形变目标检测模型； 所述检测能力测试模块用于对更 新后的局部可形变目标检测模型的检测能力进行测试。
目标检测装置， 其用于利用已有的局部可形变目标检测模型对待测 图像进行目标检测， 并输出检测结果。
以上所述的具体实施例， 对本发明的目的、 技术方案和有益效果进 行了进一歩详细说明， 应理解的是， 以上所述仅为本发明的具体实施例 而已， 并不用于限制本发明， 凡在本发明的精神和原则之内， 所做的任 何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求
1、 一种基于在线学习的局部可形变目标检测方法， 其包括： 歩骤 1、 利用训练集中的样本图像对局部可形变目标检测模型进行 训练， 得到初歩训练后的局部可形变目标检测模型；
歩骤 2、 利用所述局部可形变目标检测模型对待测图像进行目标检 测， 并利用 GUI标注在线学习方法对已有的局部可形变目标检测模型进 行更新优化。
2、 如权利要求 1所述的目标检测方法， 其特征在于， 歩骤 2中， 对待测图像进行目标检测时， 如果检测错误或者检测得分偏低， 则使用 该待测图像， 利用 GUI标注在线学习方法对所述局部可形变目标检测模 型进行更新优化。
3、 如权利要求 1所述的目标检测方法， 其特征在于， 歩骤 1具体 包括：
歩骤 11、 提取训练集中样本图像的图像特征和目标标注；
歩骤 12、 初始化一个局部可形变目标检测模型；
歩骤 13、利用所述样本图像的图像特征和目标标注对所建立的局部 可形变目标检测模型进行训练， 得到初歩训练后的局部可形变目标检测 模型；
4、 如权利要求 1所述的方法， 其特征在于， 歩骤 2具体包括如下 歩骤：
歩骤 21、 提取新样本图像的图像特征， 进行目标检测， 并利用 GUI 获取所述新样本图像的目标标注；
歩骤 22、根据所提取的新样本图像的图像特征和目标标注， 使用在 线学习方法对已有的所述局部可形变目标检测模型进行更新。
5、 如权利要求 3所述的方法， 其特征在于， 歩骤 13中使用支持向 量机对所述局部可形变目标检测模型做训练。
6、 如权利要求 5 所述的方法， 其特征在于， 所述支持向量机为线 性向量机， 其如下表示： 其中， X是样本图像的图像特征向量， w和 b是通过支持向量机学 习得到的局部可形变目标检测模型的参数， w表示局部可形变目标检测 模型中对来自样本图像的各个图像特征所取的权重值； b是一个偏置项。
7、 如权利要求 6 所述的方法， 其特征在于， 利用如下所示的目标 函数最小化所述支持向量机， 得到局部可形变目标检测模型的参数： n
L(w, b) = 5 1 1 w 1 12 + 5 1 1 & 1 12 + C max (0, 1 — y {Wib) (χέ )) 其中， c是权重， 取值为 +1或者 -1， 分别表示图像中有或者没有 目标， n为训练集中图像的数目； 表示样本图像的第 z个特征。
8、 如权利要求 4所述的方法， 其特征在于， 歩骤 22中在线学习算 法为 PA算法， 所述局部可形变目标检测模型的参数如下更新： lt= max{0,l - yt Wt * Xt)}
_ lt Wt+l = Wt + ytrtXt
其中， ^ = b] , X = [ xt T 1] T， Wf表示图像特征向量 对应的权 重向量， A表示图像特征向量， b 表示偏置项， yt表示图像特征向量对 应的标注向量， 其元素取值为 +1或者 -1， 分别表示图像中有或者没有目 标； ||Xt ||2为 xt的二范数。
9、 如权利要求 8 所述的方法， 其特征在于， 在得到所述更新后的 局部可形变目标检测模型后， 利用测试集中的样本图像对所述局部可形 变目标检测模型进行测试， 获得所述局部可形变目标检测模型的检测能 力， 以便调整在线学习算法的参数。
10、 一种基于在线学习的局部可形变目标检测系统， 其包括： 局部可形变目标检测模型训练装置， 其利用训练集中的样本图像对 局部可形变目标检测模型进行训练， 得到初歩训练后的局部可形变目标 局部可形变目标检测模型的在线更新装置， 其利用 GUI标注在线学 习方法对已有的局部可形变目标检测模型进行更新优化；
目标检测装置， 其利用局部可形变目标检测模型对待测图像进行目
PCT/CN2013/075637 2013-05-15 2013-05-15 一种基于在线学习的局部可形变目标检测方法及其系统 WO2014183275A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/075637 WO2014183275A1 (zh) 2013-05-15 2013-05-15 一种基于在线学习的局部可形变目标检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/075637 WO2014183275A1 (zh) 2013-05-15 2013-05-15 一种基于在线学习的局部可形变目标检测方法及其系统

Publications (1)

Publication Number Publication Date
WO2014183275A1 true WO2014183275A1 (zh) 2014-11-20

Family

ID=51897596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/075637 WO2014183275A1 (zh) 2013-05-15 2013-05-15 一种基于在线学习的局部可形变目标检测方法及其系统

Country Status (1)

Country Link
WO (1) WO2014183275A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800776A (zh) * 2017-11-17 2019-05-24 中兴通讯股份有限公司 素材标注方法、装置、终端和计算机可读存储介质
CN110163224A (zh) * 2018-01-23 2019-08-23 天津大学 一种可在线学习的辅助数据标注方法
CN111027399A (zh) * 2019-11-14 2020-04-17 武汉兴图新科电子股份有限公司 一种基于深度学习的遥感图像水面潜艇识别方法
US20200397345A1 (en) * 2019-06-19 2020-12-24 University Of Southern California Human activity recognition using magnetic induction-based motion signals and deep recurrent neural networks
CN112561885A (zh) * 2020-12-17 2021-03-26 中国矿业大学 基于YOLOv4-tiny的插板阀开度检测方法
CN116915512A (zh) * 2023-09-14 2023-10-20 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
CN103258216A (zh) * 2013-05-15 2013-08-21 中国科学院自动化研究所 一种基于在线学习的局部可形变目标检测方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法
CN103258216A (zh) * 2013-05-15 2013-08-21 中国科学院自动化研究所 一种基于在线学习的局部可形变目标检测方法及其系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800776A (zh) * 2017-11-17 2019-05-24 中兴通讯股份有限公司 素材标注方法、装置、终端和计算机可读存储介质
CN110163224A (zh) * 2018-01-23 2019-08-23 天津大学 一种可在线学习的辅助数据标注方法
CN110163224B (zh) * 2018-01-23 2023-06-20 天津大学 一种可在线学习的辅助数据标注方法
US20200397345A1 (en) * 2019-06-19 2020-12-24 University Of Southern California Human activity recognition using magnetic induction-based motion signals and deep recurrent neural networks
CN111027399A (zh) * 2019-11-14 2020-04-17 武汉兴图新科电子股份有限公司 一种基于深度学习的遥感图像水面潜艇识别方法
CN111027399B (zh) * 2019-11-14 2023-08-22 武汉兴图新科电子股份有限公司 一种基于深度学习的遥感图像水面潜艇识别方法
CN112561885A (zh) * 2020-12-17 2021-03-26 中国矿业大学 基于YOLOv4-tiny的插板阀开度检测方法
CN112561885B (zh) * 2020-12-17 2023-04-18 中国矿业大学 基于YOLOv4-tiny的插板阀开度检测方法
CN116915512A (zh) * 2023-09-14 2023-10-20 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置
CN116915512B (zh) * 2023-09-14 2023-12-01 国网江苏省电力有限公司常州供电分公司 电网中通信流量的检测方法、检测装置

Similar Documents

Publication Publication Date Title
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN104573652B (zh) 确定人脸图像中人脸的身份标识的方法、装置和终端
Liu et al. Visual loop closure detection with a compact image descriptor
JP5202037B2 (ja) 特徴点位置決定方法及び装置
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
Qiang et al. SqueezeNet and fusion network-based accurate fast fully convolutional network for hand detection and gesture recognition
CN102982315B (zh) 一种自动检测非手势模式的手势分割识别方法及系统
WO2014183275A1 (zh) 一种基于在线学习的局部可形变目标检测方法及其系统
CN109753891A (zh) 基于人体关键点检测的足球运动员姿势校准方法及系统
CN103258216A (zh) 一种基于在线学习的局部可形变目标检测方法及其系统
CN103324938A (zh) 训练姿态分类器及物体分类器、物体检测的方法及装置
TWI774271B (zh) 關鍵點檢測方法、電子設備及電腦可讀儲存介質
CN102938065A (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN111327949B (zh) 一种视频的时序动作检测方法、装置、设备及存储介质
CN104517097A (zh) 一种基于kinect的运动人体姿态识别方法
CN108446672A (zh) 一种基于由粗到细脸部形状估计的人脸对齐方法
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
WO2022199214A1 (zh) 样本扩展方法、训练方法和系统、及样本学习系统
CN104008372A (zh) 一种无线多媒体传感器网络中的分布式人脸识别方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN109948652A (zh) 一种基于叶花融合的局部判别cca的植物物种识别方法
CN109034237A (zh) 基于卷积神经元网络路标和序列搜索的回环检测方法
CN103177264B (zh) 基于视觉词典全局拓扑表达的图像分类方法
Chen et al. A multi-scale fusion convolutional neural network for face detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13884839

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13884839

Country of ref document: EP

Kind code of ref document: A1