Nothing Special   »   [go: up one dir, main page]

CN111598167B - 基于图学习的小样本图像识别方法及系统 - Google Patents

基于图学习的小样本图像识别方法及系统 Download PDF

Info

Publication number
CN111598167B
CN111598167B CN202010418929.1A CN202010418929A CN111598167B CN 111598167 B CN111598167 B CN 111598167B CN 202010418929 A CN202010418929 A CN 202010418929A CN 111598167 B CN111598167 B CN 111598167B
Authority
CN
China
Prior art keywords
sample image
feature vector
establishing
graph
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010418929.1A
Other languages
English (en)
Other versions
CN111598167A (zh
Inventor
王博
李兵
胡卫明
原春锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010418929.1A priority Critical patent/CN111598167B/zh
Publication of CN111598167A publication Critical patent/CN111598167A/zh
Application granted granted Critical
Publication of CN111598167B publication Critical patent/CN111598167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图学习的小样本图像识别方法及系统，所述图像识别方法包括：获取源域样本图像数据集；以各样本图像作为节点，建立无向带权图；基于特征生成模型提取各样本图像的基础特征向量；对各节点之间执行信息的传递和聚合，得到优化特征向量；基于优化特征向量，建立图像识别模型；根据所述优化特征向量，建立对比损失函数；采用随机梯度下降方法优化图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；根据面向小样本图像的识别模型，确定待测样本图像的所属类别。通过学习出来的识别模型在小样本场景下可以放大异类样本的类间差异，缩小同类样本的类内差异，极大提升了小样本识别的准确率。

Description

基于图学习的小样本图像识别方法及系统
技术领域
本发明涉及计算机视觉和小样本学习技术领域，特别涉及一种基于图学习的小样本图像识别方法及系统。
背景技术
图像识别技术广泛应用于视频监控、工业检测、航空航天等诸多领域，极大提高了相关行业的生产效率和质量。通常来说，图像识别模型需要大量带标签的样本进行训练才能达到理想的性能。然而，在某些现实的任务场景中，样本的数量非常少，同时样本的类别非常多，例如人脸识别、医疗影像分析等任务，导致传统的依赖大规模训练数据的深度模型无法发挥作用。
现有的基于迁移学习的小样本识别方法往往缺少适用于特定小样本任务场景的距离函数建模，仅仅采用简单的非参距离函数进行类别预测，例如欧氏距离或者余弦距离。同时，这些方法也缺少类内样本的关系挖掘，无法在样本匮乏的场景下充分挖掘标注样本与测试样本在特征空间的语义关系，导致识别准确率较低。
发明内容
为了解决现有技术中的上述问题，即为了提高小样本场景下的图像识别的准确率，本发明的目的在于提供一种基于图学习的小样本图像识别方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种基于图学习的小样本图像识别方法，所述图像识别方法包括：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据所述优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
可选地，根据以下公式，确定基于深度卷积神经网络的特征生成模型：
X＝Φ(x)；
其中，Φ表示深度卷积神经网络，x表示输入的目标样本图像，X表示输出的基础特征向量。
可选地，所述以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图，具体包括：
根据以下公式，确定所述邻接矩阵中的各元素：
Figure BDA0002496111890000031
其中，Ai，j表示图中的节点i与节点j之间的距离，
Figure BDA0002496111890000032
表示节点i的基础特征向量，
Figure BDA0002496111890000033
表示节点j的基础特征向量，
Figure BDA0002496111890000034
表示距离函数；Ai，j为图像Graph的邻接矩阵A中的元素；
根据所述邻接矩阵A，建立无向带权图G：
G＝(V,E)；
其中，E表示节点之间的边权，是可学习的参数，V表示图像Graph的节点集合。
可选地，根据以下公式，建立基于图神经网络的特征优化模型：
Figure BDA0002496111890000035
Figure BDA0002496111890000036
Figure BDA0002496111890000037
其中，A表示图的邻接矩阵，I表示单位矩阵，
Figure BDA0002496111890000041
表示
Figure BDA0002496111890000042
的度矩阵，θ(k)表示图神经网络第k层的参数矩阵，X(k)表示图神经网络第k层的所有节点，ρ表示激活函数；
所述特征优化模型为X(k+1)＝ρ(LK(k)θ(k))；
其中，X(0)表示基础特征向量，X(k)，k＞0表示优化特征向量。
可选地，根据以下公式，确定基于非线性回归网络的特征距离函数：
Figure BDA0002496111890000043
其中，k为图神经网络的层数序号，k＞0，
Figure BDA0002496111890000044
表示节点i的优化特征向量，
Figure BDA0002496111890000045
表示节点j的优化特征向量，
Figure BDA0002496111890000046
表示优化特征向量
Figure BDA0002496111890000047
与优化特征向量
Figure BDA0002496111890000048
的距离函数，θ表示可学习参数，NonLinear Regθ(·)表示带有可学习参数θ的非线性回归函数，abs(·)表示绝对值函数。
可选地，根据以下公式，建立对比损失函数：
Figure BDA0002496111890000049
Figure BDA00024961118900000410
其中，L表示对比损失值，N表示节点数量，i、j表示节点序号，k为图神经网络的层数序号，k＞0，d表示优化特征向量
Figure BDA00024961118900000411
与优化特征向量
Figure BDA00024961118900000412
的欧氏距离，||.||2表示L2范数，y表示图像类别是否匹配的标签，y＝1代表两幅图像属于一个类别，y＝0代表两幅图像不属于一个类别，margin表示预设的阈值。
可选地，根据以下公式，确定所述待测样本图像的所属类别：
y*＝csign(argmax(fΘ(x*,X′)))；
其中，y*表示所述类别，x*表示未知标签的测试图像样本，X′表示目标域样本图像数据集，fΘ(·)表示面向小样本图像的识别模型，arg max(·)表示获取与测试样本图像距离最近的标注样本图像，csign(·)表示获取标注样本图像的所属类别。
可选地，所述图像识别方法还包括：
根据所述图像识别模型更新所述无向带权图的边权。
为解决上述技术问题，本发明提供了如下方案：
一种基于图学习的小样本图像识别系统，所述图像识别系统包括：
获取单元，用于获取源域样本图像数据集及目标域样本图像数据集；所述源域样本图像数据集包括多个带有标签的源样本图像，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
基础模型建立单元，用于根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
提取单元，用于利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
无向带权图建立单元，用于以各样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
优化模型建立单元，用于根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
确定单元，用于根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
距离函数建立单元，用于根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
识别模型建立单元，用于基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
损失函数建立单元，用于根据所述优化特征向量，建立对比损失函数；
优化单元，用于基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
识别单元，用于根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
为解决上述技术问题，本发明提供了如下方案：
一种基于图学习的小样本图像识别系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
为解决上述技术问题，本发明提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
根据本发明的实施例，本发明公开了以下技术效果：
本发明通过以大量的源域样本图像数据集为预训练样本，生成特征生成模型，提取目标域样本图像数据集的基础特征向量，并以目标样本图像作为节点构建无向带权图，建立建立图像识别模型，并利用目标域样本图像数据集，对所述图像识别模型进行微调，可有效解决缺少预先设定任务场景的度量建模以及缺少类内样本的关系挖掘问题，使得学习出来的识别模型在小样本场景下可以放大异类样本的类间差异，缩小同类样本的类内差异，极大提升了小样本识别的准确率。
附图说明
图1是本发明基于图学习的小样本图像识别方法的流程图；
图2是本发明基于图学习的小样本图像识别方法的一实施例示意图；
图3是基于图学习的小样本图像识别模型的训练流程图；
图4是本发明基于图学习的小样本图像识别系统的模块结构示意图。
符号说明：
获取单元—1，基础模型建立单元—2，提取单元—3，无向带权图建立单元—4，优化模型建立单元—5，确定单元—6，距离函数建立单元—7，识别模型建立单元—8，损失函数建立单元—9，优化单元—10，识别单元—11。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
小样本学习指的是在样本数量少且类别多的情况下训练有效的识别模型，旨在利用任务和数据之间的相似性，将在数据丰富的源域中训练得到的参数模型迁移到数据匮乏的目标域，快速建立面向小样本场景的识别模型。
本发明的目的在于提供一种基于图学习的小样本图像识别方法，通过以大量的源域样本图像数据集为预训练样本，生成特征生成模型，提取目标域样本图像数据集的基础特征向量，并以目标样本图像作为节点构建无向带权图，建立建立图像识别模型，并利用目标域样本图像数据集，对所述图像识别模型进行微调，可有效解决缺少预先设定任务场景的度量建模以及缺少类内样本的关系挖掘问题，使得学习出来的识别模型在小样本场景下可以放大异类样本的类间差异，缩小同类样本的类内差异，极大提升了小样本识别的准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示，本发明基于图学习的小样本图像识别方法包括：
步骤100：获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
步骤200：根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
步骤300：获取目标域样本图像数据集，所述目标域样本图像数据集包括多个带有标签的目标样本图像；
步骤400：利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
步骤500：以各样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
步骤600：根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
步骤700：根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
步骤800：根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
步骤900：基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
步骤1000：根据所述优化特征向量，建立对比损失函数；
步骤1100：基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
步骤1200：根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
其中，在步骤100中，选择数据丰富的数据集作为源域样本图像数据集执行预训练，以获得泛化能力较强的通用参数模型；选择数据匮乏的特定任务相关的数据集作为目标域样本图像数据集执行微调训练，以获得适用于特定任务的参数模型。
例如，选择ImageNet大规模带标签图像数据集作为源域样本图像数据集，其中包含1000个类别，133万张图像数据。
可选地，在步骤200中，根据以下公式确定基于深度卷积神经网络的特征生成模型：
X＝Φ(x)；
其中，Φ表示深度卷积神经网络，x表示输入的目标样本图像，X表示输出的基础特征向量。
所述基于深度卷积神经网络的特征生成模型具体可以基于AlexNet、InceptionV3、ResNet50等典型网络架构建立，也可以是自定义的卷积神经网络架构。
在本实施例中采用自定义卷积神经网络架构建立特征生成模型。具体来说，基于深度卷积神经网络的特征生成模型包括：4个卷积模块和1个全连接模块。
其中，第一个卷积模块包含1个卷积层(卷积核数量为64，大小为3x3，卷积步长为1，边缘填充为1，激活函数为ReLU)、1个批归一化层和1个最大池化层(卷积核大小为2x2，卷积步长为2)；
第二个卷积模块包含1个卷积层(卷积核数量为96，大小为3x3，卷积步长为1，边缘填充为1，激活函数为ReLU)、1个批归一化层和1个最大池化层(卷积核大小为2x2，卷积步长为2)；
第三个卷积模块包含1个卷积层(卷积核数量为128，大小为3x3，卷积步长为1，边缘填充为1，激活函数为ReLU)、1个批归一化层和1个最大池化层(卷积核大小为2x2，卷积步长为2)；
第四个卷积模块包含1个卷积层(卷积核数量为256，大小为3x3，卷积步长为1，边缘填充为1，激活函数为ReLU)、1个批归一化层和1个最大池化层(卷积核大小为2x2，卷积步长为2)。
全连接模块包含1个全连接层(卷积核数量为128，激活函数为ReLU)和1个批归一化层。
在步骤500中，所述以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图，具体包括：
步骤501：根据以下公式，确定所述邻接矩阵中的各元素：
Figure BDA0002496111890000121
其中，Ai，j表示图中的节点i与节点j之间的距离，
Figure BDA0002496111890000124
表示节点i的基础特征向量，
Figure BDA0002496111890000122
表示节点j的基础特征向量，
Figure BDA0002496111890000123
表示距离函数；Ai，j为图像Graph的邻接矩阵A中的元素；
步骤502：根据所述邻接矩阵A，建立无向带权图G：
G＝(V,E)；
其中，E表示节点之间的边权，是可学习的参数，V表示图像Graph的节点集合。
在步骤600中，根据以下公式，建立基于图神经网络的特征优化模型：
Figure BDA0002496111890000131
Figure BDA0002496111890000132
Figure BDA0002496111890000133
其中，A表示图的邻接矩阵，I表示单位矩阵，
Figure BDA0002496111890000134
表示
Figure BDA0002496111890000135
的度矩阵，θ(k)表示图神经网络第k层的参数矩阵，X(k)表示图神经网络第k层的所有节点，ρ表示激活函数；
所述特征优化模型为X(k+1)＝ρ(LX(k)θ(k))；
其中，X(0)表示基础特征向量，X(k)，k＞0表示优化特征向量。
在步骤800中，根据以下公式，确定基于非线性回归网络的特征距离函数：
Figure BDA0002496111890000136
其中，k为图神经网络的层数序号，k＞0，
Figure BDA0002496111890000137
表示节点i的优化特征向量，
Figure BDA0002496111890000138
表示节点j的优化特征向量，
Figure BDA0002496111890000139
表示优化特征向量
Figure BDA00024961118900001310
与优化特征向量
Figure BDA00024961118900001311
的距离函数，θ表示可学习参数，NonLinear Regθ(·)表示带有可学习参数θ的非线性回归函数，abs(·)表示绝对值函数。
在本实施例中，非线性回归函数采用多层感知机网络函数MLPθ。即，
Figure BDA00024961118900001312
其中，在多层感知机网络中包括3个全连接模块，第一个全连接模块包含1个全连接层(卷积核数量为64，激活函数为ReLU)和1个批归一化层；第二个全连接模块包含1个全连接层(卷积核数量为32，激活函数为ReLU)和1个批归一化层；第三个全连接模块包含1个全连接层(卷积核数量为1，激活函数为ReLU)。
进一步地，可根据所述图像识别模型，更新步骤500中图的边权。
在步骤1100中，根据以下公式，建立对比损失函数：
Figure BDA0002496111890000141
Figure BDA0002496111890000142
其中，L表示对比损失值，N表示节点数量，i、j表示节点序号，k为图神经网络的层数序号，k＞0，d表示优化特征向量
Figure BDA0002496111890000143
与优化特征向量
Figure BDA0002496111890000144
的欧氏距离，||.||2表示L2范数，y表示图像类别是否匹配的标签，y＝1代表两幅图像属于一个类别，y＝0代表两幅图像不属于一个类别，margin表示预设的阈值。
在步骤1100中，利用源域样本图像数据集预训练参数模型，再利用目标域样本图像数据集微调训练参数模型。具体来说，训练过程严格遵守小样本场景设置，典型的设置可以是每类5个样本或每类1个样本。采用随机梯度下降算法作为优化器优化所述图像识别模型的参数直到对比损失函数收敛，得到面向小样本图像的识别模型。
其中，所述参数包括以下至少一者：学习率、动量及权重衰减系数。在本实施例中，学习率为0.03，动量为0.9，权重衰减系数为0.0001。
在步骤1200中，根据以下公式，确定所述待测样本图像的所属类别：
y*＝csign(argmax(fΘ(x*,X′)))；
其中，y*表示所述类别，x*表示未知标签的测试图像样本，X′表示目标域样本图像数据集，fΘ(·)表示面向小样本图像的识别模型，arg max(·)表示获取与测试样本图像距离最近的标注样本图像，csign(·)表示获取标注样本图像的所属类别。
下面一个具体实施例详细说明本发明的训练和识别过程(参考图3所示)：
本实施例的训练过程：
输入图像尺寸是112x112，色彩模式为RGB。在图像数据预处理部分，采用数据增强技术扩展数据集，使得模型可以学习得到具备尺度不变性、平移不变性和水平翻转不变性的特征。同时，采用均值方差归一化，采用的图像3个通道对应的均值为[0.485,0.456,0.406]，方差为[0.229,0.224,0.225]。在参数训练部分，第一，以图像作为节点建立无向带权图，其中节点之间的边权初始化为0；第二，利用特征生成模型提取图像的基础特征向量；第三，利用特征优化模型在节点之间执行信息的传递和聚合，提高同类样本在特征空间的紧凑性，得到图像的优化特征向量；第四，利用特征距离函数计算图像之间的距离；第五，利用随机梯度下降方法优化所有模型的参数直到损失函数收敛，生成面向小样本图像的识别模型。
本实施例的测试过程：
在本实施例中，在图像数据预处理部分，将测试图像缩放到112x112，转换色彩模式为RGB并进行均值方差归一化。在图像类别预测部分，首先，将预处理后的标注图像和测试图像加入图中，依次送入特征生成模型、特征优化模型，获得图像的特征表示。然后，将标注图像和测试图像的特征送入特征距离函数，计算测试图像与标注图像的距离，选择距离最近的标注图像的所属类别作为测试图像的所属类别。
本发明基于图学习的小样本图像识别方法以卷积神经网络和图神经网络为基础建立可学习的度量模型，训练得到的小样本图像识别模型充分挖掘了类别内在特征，避免了背景噪声的干扰，使得在特征空间中，同类图像在特征空间中更加紧凑，异类图像在特征空间中更加疏远，对于提高小样本场景下的图像识别精度具有重要意义。
此外，本发明提供一种基于图学习的小样本图像识别系统，提高样本识别的准确率。
如图4所示，本发明基于图学习的小样本图像识别系统包括获取单元1、基础模型建立单元2、提取单元3、无向带权图建立单元4、优化模型建立单元5、确定单元6、距离函数建立单元7、识别模型建立单元8、损失函数建立单元9、优化单元10及识别单元11。
所述获取单元1用于获取源域样本图像数据集及目标域样本图像数据集；所述源域样本图像数据集包括多个带有标签的源样本图像，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
所述基础模型建立单元2用于根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
所述提取单元3用于利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
所述无向带权图建立单元4用于以各样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
所述优化模型建立单元5用于根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
所述确定单元6用于根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
所述距离函数建立单元7用于根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
所述识别模型建立单元8用于基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
所述损失函数建立单元9用于根据所述优化特征向量，建立对比损失函数；
所述优化单元10用于基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
所述识别单元11用于根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。。
此外，本发明提供一种基于图学习的小样本图像识别系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
相对于现有技术，本发明计算机可读存储介质、基于图学习的小样本图像识别系统与上述基于图学习的小样本图像识别方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于图学习的小样本图像识别方法，其特征在于，所述图像识别方法包括：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据所述优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
2.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，根据以下公式确定基于深度卷积神经网络的特征生成模型：
X＝Φ(x)；
其中，Φ表示深度卷积神经网络，x表示输入的目标样本图像，X表示输出的基础特征向量。
3.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，所述以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图，具体包括：
根据以下公式，确定所述邻接矩阵中的各元素：
Figure FDA0002496111880000021
其中，Ai，j表示图中的节点i与节点j之间的距离，
Figure FDA0002496111880000022
表示节点i的基础特征向量，
Figure FDA0002496111880000023
表示节点j的基础特征向量，
Figure FDA0002496111880000024
表示距离函数；Ai，j为图像Graph的邻接矩阵A中的元素；
根据所述邻接矩阵A，建立无向带权图G：
G＝(V,E)；
其中，E表示节点之间的边权，是可学习的参数，V表示图像Graph的节点集合。
4.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，根据以下公式，建立基于图神经网络的特征优化模型：
Figure FDA0002496111880000025
Figure FDA0002496111880000026
Figure FDA0002496111880000027
其中，A表示图的邻接矩阵，I表示单位矩阵，
Figure FDA0002496111880000028
表示
Figure FDA0002496111880000029
的度矩阵，θ(k)表示图神经网络第k层的参数矩阵，X(k)表示图神经网络第k层的所有节点，ρ表示激活函数；
所述特征优化模型为X(k+1)＝ρ(LX(k)θ(k))；
其中，X(0)表示基础特征向量，X(k)，k＞0表示优化特征向量。
5.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，根据以下公式，基于非线性回归网络的特征距离函数：
Figure FDA0002496111880000031
其中，k为图神经网络的层数序号，k＞0，
Figure FDA0002496111880000032
表示节点i的优化特征向量，
Figure FDA0002496111880000033
表示节点j的优化特征向量，
Figure FDA0002496111880000034
表示优化特征向量
Figure FDA0002496111880000035
与优化特征向量
Figure FDA0002496111880000036
的距离函数，θ表示可学习参数，NonLinearRegθ(·)表示带有可学习参数θ的非线性回归函数，abs(·)表示绝对值函数。
6.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，根据以下公式，建立对比损失函数：
Figure FDA0002496111880000037
Figure FDA0002496111880000038
其中，L表示对比损失值，N表示节点数量，i、j表示节点序号，k为图神经网络的层数序号，k＞0，d表示特征向量
Figure FDA0002496111880000039
与特征向量
Figure FDA00024961118800000310
的欧氏距离，||.||2表示L2范数，y表示图像类别是否匹配的标签，y＝1代表两幅图像属于一个类别，y＝0代表两幅图像不属于一个类别，margin表示预设的阈值，所述特征向量包括基础特征向量和优化特征向量。
7.根据权利要求1所述的基于图学习的小样本图像识别方法，其特征在于，根据以下公式，确定所述待测样本图像的所属类别：
y*＝csign(arg max(fΘ(x*,X′)))；
其中，y*表示所述类别，x*表示未知标签的测试图像样本，X′表示目标域样本图像数据集，fΘ(·)表示面向小样本图像的识别模型，arg max(·)表示获取与测试样本图像距离最近的标注样本图像，csign(·)表示获取标注样本图像的所属类别。
8.一种基于图学习的小样本图像识别系统，其特征在于，所述图像识别系统包括：
获取单元，用于获取源域样本图像数据集及目标域样本图像数据集；所述源域样本图像数据集包括多个带有标签的源样本图像，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
基础模型建立单元，用于根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
提取单元，用于利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
无向带权图建立单元，用于以各样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
优化模型建立单元，用于根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
确定单元，用于根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
距离函数建立单元，用于根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
识别模型建立单元，用于基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
损失函数建立单元，用于根据所述优化特征向量，建立对比损失函数；
优化单元，用于基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
识别单元，用于根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
9.一种基于图学习的小样本图像识别系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据所述优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取源域样本图像数据集，所述源域样本图像数据集包括多个带有标签的源样本图像；
根据所述源域样本图像数据集，建立基于深度卷积神经网络的特征生成模型；
获取目标域样本图像数据集，所述目标域样本图像数据集包括有多个带有标签的目标样本图像；
利用基于深度卷积神经网络的特征生成模型，提取各目标样本图像的基础特征向量；
以各目标样本图像作为节点，根据各目标样本图像的基础特征向量，建立无向带权图；
根据所述无向带权图及基础特征向量，建立基于图神经网络的特征优化模型；
根据图神经网络的特征优化模型，对各节点之间执行信息的传递和聚合，得到优化特征向量；
根据优化特征向量，建立基于非线性回归网络的特征距离函数；
基于所述基础特征向量、优化特征向量和特征距离函数，建立图像识别模型，所述图像识别模型用于确定两图像之间的距离；
根据优化特征向量，建立对比损失函数；
基于目标域样本图像数据集，采用随机梯度下降方法优化所述图像识别模型的参数直到对比损失函数收敛，以确定面向小样本图像的识别模型；
根据所述面向小样本图像的识别模型，确定所述待测样本图像的所属类别。
CN202010418929.1A 2020-05-18 2020-05-18 基于图学习的小样本图像识别方法及系统 Active CN111598167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010418929.1A CN111598167B (zh) 2020-05-18 2020-05-18 基于图学习的小样本图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010418929.1A CN111598167B (zh) 2020-05-18 2020-05-18 基于图学习的小样本图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN111598167A CN111598167A (zh) 2020-08-28
CN111598167B true CN111598167B (zh) 2023-04-07

Family

ID=72182509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010418929.1A Active CN111598167B (zh) 2020-05-18 2020-05-18 基于图学习的小样本图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN111598167B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862093B (zh) * 2021-01-29 2024-01-12 北京邮电大学 一种图神经网络训练方法及装置
CN113378934B (zh) * 2021-06-11 2023-04-07 西安电子科技大学 一种基于语义感知图神经网络的小样本图像分类方法及系统
CN113642714B (zh) * 2021-08-27 2024-02-09 国网湖南省电力有限公司 基于小样本学习的绝缘子污秽放电状态识别方法及系统
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766942A (zh) * 2019-01-07 2019-05-17 西南交通大学 一种基于注意力神经网络的小样本学习图像识别方法
CN109919183A (zh) * 2019-01-24 2019-06-21 北京大学 一种基于小样本的图像识别方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717354B (zh) * 2018-07-11 2023-05-12 哈尔滨工业大学 基于半监督k-svd与多尺度稀疏表示的超像元分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766942A (zh) * 2019-01-07 2019-05-17 西南交通大学 一种基于注意力神经网络的小样本学习图像识别方法
CN109919183A (zh) * 2019-01-24 2019-06-21 北京大学 一种基于小样本的图像识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊笛 等."基于原型网络的小样本图像识别方法".《计算机与现代化》.2020,(第undefined期),全文. *

Also Published As

Publication number Publication date
CN111598167A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598167B (zh) 基于图学习的小样本图像识别方法及系统
CN110070067B (zh) 视频分类方法及其模型的训练方法、装置和电子设备
CN108171320B (zh) 一种基于生成式对抗网络的图像域转换网络和转换方法
Mancini et al. Best sources forward: domain generalization through source-specific nets
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
Khan et al. Real-time plant health assessment via implementing cloud-based scalable transfer learning on AWS DeepLens
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN113378632A (zh) 一种基于伪标签优化的无监督域适应行人重识别算法
CN110796057A (zh) 行人重识别方法、装置及计算机设备
CN110598840A (zh) 知识迁移方法、信息处理设备以及存储介质
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN114169442B (zh) 基于双原型网络的遥感图像小样本场景分类方法
CN110968734B (zh) 一种基于深度度量学习的行人重识别方法及装置
CN114842343B (zh) 一种基于ViT的航空图像识别方法
US11275959B2 (en) Systems and methods for enrollment in a multispectral stereo facial recognition system
CN118297105A (zh) 人工神经网络
Liu et al. An indoor scene classification method for service robot Based on CNN feature
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN111340051A (zh) 图片处理方法、装置及存储介质
CN116263785A (zh) 跨领域文本分类模型的训练方法、分类方法和装置
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN114863092A (zh) 一种基于知识蒸馏的联邦目标检测方法及系统
CN116681128A (zh) 一种带噪多标签数据的神经网络模型训练方法和装置
CN112507893A (zh) 一种基于边缘计算的分布式无监督行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant