CN113723482B - 基于多示例孪生网络的高光谱目标检测方法 - Google Patents
基于多示例孪生网络的高光谱目标检测方法 Download PDFInfo
- Publication number
- CN113723482B CN113723482B CN202110958503.XA CN202110958503A CN113723482B CN 113723482 B CN113723482 B CN 113723482B CN 202110958503 A CN202110958503 A CN 202110958503A CN 113723482 B CN113723482 B CN 113723482B
- Authority
- CN
- China
- Prior art keywords
- sample
- feature
- fusion
- loss
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims description 37
- 238000012795 verification Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 241000132092 Aster Species 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- INJRKJPEYSAMPD-UHFFFAOYSA-N aluminum;silicic acid;hydrate Chemical compound O.[Al].[Al].O[Si](O)(O)O INJRKJPEYSAMPD-UHFFFAOYSA-N 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 239000002360 explosive Substances 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多示例孪生网络的高光谱目标检测方法，主要解决现有技术在高光谱数据目标不足时，模型易过拟合进而导致检测效果下降的问题。其实现方案为：1.准备数据集，并从训练集中划分出“正‑负”和“正‑正”样本对；2.搭建一个由特征提取模块、权重计算模块、特征融合模块、分类器四个部分依次级联构成的多示例孪生网络；3.设置训练参数，用训练集中的样本对迭代训练多示例孪生网络；4.用训练好的多示例孪生网络对测试集数据进行单点测试，输出每个像素属于目标的置信度。本发明提高了高光谱数据目标不足时的检测结果，减小了过拟合现象，可用于爆炸物检测、农作物精细分类。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种高光谱目标检测方法，可用于爆炸物检测、农作物精细分类。
背景技术
高光谱图像由于具有丰富的时空信息，近年来在爆炸物检测、农作物精细分类等各个领域得到了广泛的应用。然而，由于传感器的精度问题，高光谱图像中标记为目标的像素，在地面真值中不一定存在目标，而是表明目标存在于包括该像素在内的一定范围的空间中。此外，由于背景复杂多样，且多数情况下目标数目远小于背景数目，使得高光谱图像的目标检测成为难点。
多示例学习起源于药物活性检测，随着其应用的日益广泛，目前被认为是除有监督学习、无监督学习和强化学习以外的一种新的机器学习框架。不同于有监督学习的精确标记，多示例学习的训练样本以数据包的形式存在。若一个数据包被标记为正包，则说明该数据包至少包括一个正示例；若一个数据包被标记为负包，则说明该数据包不包含正示例。问题的核心就是通过不精确标记的样本尝试得到精确的判断。这种特性使得多示例学习逐渐在图像检索、文本分类、目标检测等各个领域得到了广泛的应用。因此将高光谱不精确标记下的目标检测问题建模为多示例问题，近年来逐渐成为研究的热点。
孪生网络是一种训练时输入样本对而不是单个样本的特殊网络框架，最早由Bromley等人在进行手写体识别任务中提出。通过构造相似和不相似的样本对，可以将模型在原始的不平衡数据上的学习转变成对平衡分布的样本对的学习，巧妙的解决了数据不平衡分布的问题，适合处理样本类别特别多或者某个样本类别特别少的学习问题。
近年来，对于高光谱目标的检测有不少学者进行了相关的研究：
2014年，武汉大学的张良培教授团队使用了一种将有监督测度学习用于高光谱目标检测的方法，该方法通过引入包含有监督距离最大化的目标函数来最大化正样本和负样本之间的距离，并添加了样本相似性的约束，降低了高光谱目标检测的虚警率。
2018年，Du和Li通过构造像素对之差，利用CNN网络提取中心像素和周围像素的高层特征差异将目标检测问题转化为分类问题，以此使用CNN强大的特征提取能力来进行检测。
2019年，Liu和Wang等人从空间和光谱两方面将动态随机共振引入到高光谱图像的阴影区域增强中，并使用2D卷积神经网络2D-CNN对增强后的高光谱图像进行分类，以实现目标检测。
上述这些方法，结合了机器学习和深度学习技术，性能相较于传统的方法有一定的提升，但是这些方法对于数据有较高的要求。而高光谱数据往往存在数据中目标不足的问题，即待检测目标在场景中较少出现甚至没有，这样会导致在数据分配时的目标不平衡问题。使用这些数据训练上述方法中的模型易出现过拟合现象，导致检测效果下降。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于多示例孪生网络的高光谱目标检测方法，以通过构造正负样本对的方式获得平衡分布的样本，避免由于目标不足带来的过拟合，提高检测效果。
本发明的技术思路是：在多示例的框架基础上，通过构建正负样本对获得平衡分布的样本，之后将样本对输入孪生网络，并通过使用一个衡量样本间相似度的对比损失以及一个分类损失对网络进行约束，使得网络能够朝着正确的方向进行优化；通过在每个数据包中设置任意的像素数来构建正负样本对，并通过逐像素的测试得到该像素对于目标的置信度。
根据上述思路，本发明的实现方案包括如下：
(1)获取数据集：
(1a)从ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集，并将其60％作为训练集，20％作为验证集，其余作为测试集；
(1b)从训练集中随机选取样本构造包含P个样本的上侧样本集合Dup和下侧样本集合Ddown，上侧样本集Dup中包含P/2个正包样本和P/2个负包样本，下侧样本集Ddown只包含P个正包样本；
(1c)按顺序从上侧样本集Dup和下侧样本集Ddown中分别取出一个数据包，构成“正-正”样本对和“正-负”样本对，得到P个样本对；
(2)搭建一个由特征提取模块、权重计算模块、特征融合模块、分类器级联组成的多示例孪生网络；
(3)对多示例孪生网络进行迭代训练：
(3a)设置网络训练的最大迭代次数E，初始学习率Lr，对比损失中的阈值t，批量大小B；
(3b)将P个样本对输入到多示例孪生网络，进行初步的光谱特征提取和特征维度转换，得到上侧样本集和下侧样本集转换后的光谱特征集合Sup和Sdown；
(3c)将上下两个光谱特征集合Sup和Sdown输入长短时记忆网络LSTM，并计算上侧特征集合的权重vup和下侧特征集合的权重vdown；
(3d)根据上侧权重vup对上侧光谱特征集合Sup进行加权求和，得到上侧特征集合的融合特征mup；
(3e)根据下侧权重vdown对下侧光谱特征集合Sdown进行加权求和，得到下侧特征集合的融合特征mdown；
(3f)计算融合后两种特征mup和mdown之间的欧氏距离e，并根据该欧氏距离计算特征损失Loss1；
(3g)将上侧样本集对应的融合特征mup输入到分类器，根据分类的结果计算分类损失Loss2；
(3h)根据特征损失Loss1和分类损失Loss2，得到最终的损失：Loss＝Loss1+Loss2
(3i)依据最终的损失Loss进行反向传播，以此更新网络参数；
(3j)使用更新参数后的模型在验证集上进行测试，得到对应的验证损失Lossval：
(3k)重复(3b)～(3j)，直到达到最大迭代次数E，取验证损失Lossval最小的模型作为训练好的多示例孪生网络模型；
(4)使用训练好的多示例孪生网络模型对测试集数据进行单点测试，输出每个像素属于目标的置信度。
本发明与现有技术相比，具有以下优点：
1)目标检测结果更好
本发明由于采用多示例孪生网络专注于提取像素更加本质的光谱特征，并利用孪生网络的对比损失去约束融合特征的目标和非目标特性，这样可以使得目标像素和非目标像素更加有区分度；同时由于本发明使用多示例学习的方法，使用平衡的样本对进行训练，有效的避免因高光谱数据特殊性导致的过拟合问题，使得目标检测效果更好。
2)具有较强的泛用性
本发明中使用的网络是一种直接对像素进行分类的端到端的网络结构，且能够适应包中包含不同示例个数的情况，使得测试的时候可以直接输入单个像素得到单个像素的置信度，因此具有较强的泛用性。
附图说明
图1是本发明的实现流程图；
图2是本发明中构建的多示例孪生网络结构示意图；
图3是图2中的特征提取部分结构图；
图4是本发明训练网络时的流程图；
图5是发明和现有6种高光谱目标检测算法在平均目标光谱比例值Pt为0.25的ASTER数据集上的ROC仿真曲线图；
具体实施方式
下面结合附图对本发明的实施和效果作进一步详细描述。
参照图1，本发明的实现步骤如下：
步骤1.准备数据集。
(1.1)从现有的ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集，并将其60％作为训练集，20％作为验证集，其余作为测试集；
(1.2)从训练集中随机选取样本构造包含P个样本的上侧样本集合Dup和下侧样本集合Ddown，上侧样本集Dup中包含P/2个正包样本和P/2个负包样本，下侧样本集Ddown只包含P个正包样本；
(1.3)从上侧样本集Dup和下侧样本集Ddown中按顺序分别取出一个个数据包，构成“正-正”样本对和“正-负”样本对，得到共P个样本对。
步骤2.搭建一个多示例孪生网络。
(2.1)建立特征提取模块
特征提取模块，用于提取输入像素块中各个像素独立的光谱特征，并将每个像素特征转化为维度统一的向量，其包括三个卷积层、三个池化层、三个激活函数层和一个全连接，每个卷积层的卷积核尺寸均为1×3，卷积核个数分别为20，128和64，池化层采用的是二维最大池化，池化核参数和步长均为1×2，全连接层的输出维度为128；
参照图3，该特征提取模块的具体结构如下：
第一卷积层→第一池化层→第一激活函数层→第二卷积层→第二池化层→第二激活函数层→第三卷积层→第三池化层→第三激活函数层→全连接层。
(2.2)建立权重计算模块
权重计算模块由一个激活函数为Sigmoid的全连接层组成，用于得到上下侧单个示例对上下侧特征集合的权重；
(2.3)建立特征融合模块
特征融合模块是一个求和层，用于将上下侧光谱单个示例依据各个示例对应的权重进行按权相加；
(2.4)建立分类器
分类器由一个激活函数为Sigmoid的全连接层组成，用于对融合后的特征进行分类，输出该特征属于目标的置信度。
(2.5)将上述模块和分类器依次级联，得到结构为：特征提取模块→权重计算模块→特征融合模块→分类器的多示例孪生网络，如图2所示。
步骤3.对多示例孪生网络进行迭代训练。
参照图4，多示例孪生网络训练时的流程如下：
(3.1)设置网络训练的最大迭代次数E＝100，初始学习率Lr，对比损失中的阈值t，批量大小B；
(3.2)将P个样本对分P/B个批次输入到多示例孪生网络，进行初步的光谱特征提取和特征维度转换，得到上侧样本集和下侧样本集转换后的光谱特征集合Sup和Sdown；
(3.3)选择现有的长短时记忆网络LSTM计算特征整合后的隐向量，即将上下两个光谱特征集合Sup和Sdown输入长短时记忆网络LSTM，计算上侧特征集合的权重和下侧特征集合的权重/>
其中，为上侧光谱特征集合Sup的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，/>为下侧光谱特征集合Sdown的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，σ为Sigmoid激活函数，/>和bl分别为多示例孪生网络中权重计算模块对应的权重和偏置；
(3.4)根据上侧权重vup对上侧光谱特征集合Sup进行加权求和，得到上侧特征集合的融合特征：其中，/>为上侧样本集合中第i个样本在第l个时间步的权重，/>为上侧样本集合中第i个样本在第l个时间步的特征，nup为总的时间步数；
(3.5)根据下侧权重vdown对下侧光谱特征集合Sdown进行加权求和，得到下侧特征集合的融合特征：其中/>为下侧样本集合的第i个样本在第l个时间步的权重，/>为下侧样本集合的第i个样本在第l个时间步的特征，/>为总的时间步数；
(3.6)计算融合后两种特征和/>之间的欧氏距离ei，并根据该欧氏距离计算特征损失Loss1；
其中，ei为特征融合后上侧融合特征和下侧融合特征第i个样本之间的欧氏距离，P为总的样本对数，t是一个大于0的阈值超参数，用于决定不同类数据包不相似程度的下界，Li是输入第i个样本的标签，当输入的样本是“正-负”组合时，Li等于0，当输入的样本是“正-正”组合时，Li等于1；为上侧特征集合的第i个样本对应的融合特征，/>为下侧特征集合的第i个样本对应的融合特征。
(3.7)将上侧样本集对应的融合特征输入到分类器，根据分类的结果计算分类损失：/>其中，P为总的样本对数，Yi为上侧特征集第i个样本对应的标签，/>为上侧特征集第i个样本的预测值，σ为Sigmoid激活函数，/>为上侧特征集合第i个样本融合后的特征，wT和b分别为多示例孪生网络分类器对应的权重和偏置；
(3.8)根据特征损失Loss1和分类损失Loss2，得到最终的损失：Loss＝Loss1+Loss2；
(3.9)依据最终的损失Loss进行反向传播，以此更新网络参数，更新后的网络参数为其中θ为待更新的网络参数，/>为最终损失对于网络参数θ的偏导数，Lr为预设的学习率；
(3.10)使用更新参数后的模型在验证集上进行测试，得到对应的验证损失Lossval：
(3.10a)将验证样本集到多示例孪生网络，进行初步的光谱特征提取和特征维度转换，得到验证样本集转换后的光谱特征集合Sval；
(3.10b)将验证光谱特征集合Sval输入长短时记忆网络LSTM，并计算验证光谱特征集合Sval的融合权重
其中，为验证光谱特征集合Sval的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，σ为Sigmoid激活函数，/>和bl分别为多示例孪生网络中权重计算模块对应的权重和偏置；
(3.10c)根据验证融合权重vval对验证光谱特征集合Sval进行加权求和，得到验证特征集合的融合特征
其中，为验证集样本集合中第i个样本在第l个时间步的权重，/>为验证集样本集合中第i个样本在第l个时间步的特征，/>为总的时间步数；
(3.10d)将验证样本集对应的融合特征输入到分类器，根据输出的分类的结果计算验证损失Lossval：
其中，P为总的验证样本对数，为验证特征集合第i个样本对应的标签，为验证特征集合第i个样本的预测值，σ为Sigmoid激活函数，/>为验证特征集合第i个样本融合后的特征，wT和b分别为多示例孪生网络分类器对应的权重和偏置。
(3.11)重复(3.1)～(3.10)，直到达到最大迭代次数E，取验证损失Lossval最小的模型作为训练好的多示例孪生网络模型。
步骤4.用训练好的多示例孪生网络模型对测试集数据进行单点测试，输出每个像素属于目标的置信度，完成对高光谱目标的检测。
本发明的效果可通过以下仿真进一步说明。
1.仿真环境
仿真环境为Ubuntu16.04下的Pycharm平台，使用的语言为Python3.6，采用的深度学习框架为Pytorch，优化器为Adam优化器，处理器为Inter CPU E5-2630，显卡为GeForce GTX 1080。
2.仿真内容
仿真1，利用上述环境，用本发明和现有的7种高光谱目标检测方法对在ASTER数据集中挑选出光谱范围在0.4μm到2.5μm的数据集进行仿真测试，在仿真数据集上进行实验时，设置样本对个数P设置为1800，初始学习率设置为0.0005，最大迭代次数设置为100，batch size的大小设置为128，对比损失函数中的阈值t设置为1.0，仿真得到在三个平均目标光谱比例值Pt下的AUC指标，如表1所示，及在Pt＝0.25时的ROC曲线，如图4所示。
表1中，MILES是一种基于嵌入空间的多示例算法；MIForests是基于包水平的多示例算法；MIACE是一种多示例自适应余弦估计器；MISMF为多示例光谱匹配滤波器；mi-Net是一种全连接神经网络计算实例得分从而获取包的得分的方法；Attention-DMI算法是一种基于注意力机制的多示例学习方法；CS-attentionMINN算法是一种集合空间注意力和通道注意力的多示例学习方法。
表1
由表1可知，本发明相较于常规的一些方法在三种不同Pt值对应的AUC均更高。
由图5知，本发明在Pt＝0.25时的ROC曲线具有更大的面积，表明本发明相较于常规方法在ASTER数据集上具有更好的检测效果。
仿真2，在真实高光谱数据集上设置样本对个数P为90000，初始学习率设置为0.0005，最大迭代次数设置为100，批量大小B设置为256，特征损失函数中的阈值t设置为3.0。用本发明和现有的7种高光谱目标检测方法在该真实高光谱数据集上进行仿真测试，真实高光谱数据分为Brown、DG、FVG、PG四种目标以及将四种目标看作一种目标时的AllTypes共五种目标检测场景，当检测其中某种目标时，其余目标将被看作不同于目标像素和背景像素的多余数据舍去。得到在这五种目标下检测的NAUC指标，如表2所示。
表2
| 方法 | Brown | DG | FVG | PG | AllTypes |
| MILES | 0.1988 | 0.2258 | 0.2747 | 0.0786 | 0.1624 |
| MIForests | 0.4000 | 0.1903 | 0.2627 | 0.1333 | 0.1367 |
| MIACE | 0.5200 | 0.5680 | 0.4241 | 0.2846 | 0.2868 |
| MISMF | 0.5302 | 0.5674 | 0.4842 | 0.2990 | 0.2882 |
| mi-Net | 0.0226 | 0.0576 | 0.0343 | 0.0 | 0.0 |
| Attention-DMIL | 0.4232 | 0.5759 | 0.3473 | 0.2826 | 0.3148 |
| CS-attentionMINN | 0.4977 | 0.5463 | 0.3258 | 0.3167 | 0.2658 |
| 本发明 | 0.5791 | 0.6706 | 0.4868 | 0.3930 | 0.4164 |
由表2可知，本发明相较于常规的一些方法在四种目标以及将四种目标看作一种目标时检测对应的NAUC均更高，表明本发明相较于常规方法在真实数据集上具有更好的检测效果。
Claims (5)
1.一种基于多示例孪生网络的高光谱目标检测方法，其特征在于，包括：
(1)获取数据集：
(1a)从ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集，并将其60％作为训练集，20％作为验证集，其余作为测试集；
(1b)从训练集中随机选取样本构造包含P个样本的上侧样本集合Dup和下侧样本集合Ddown，上侧样本集Dup中包含P/2个正包样本和P/2个负包样本，下侧样本集Ddown只包含P个正包样本；
(1c)从上侧样本集Dup和下侧样本集Ddown中按顺序分别取出一个个数据包，构成“正-正”样本对和“正-负”样本对，得到P个样本对；
(2)搭建一个由特征提取模块、权重计算模块、特征融合模块、分类器级联组成的多示例孪生网络；
(3)对多示例孪生网络进行迭代训练：
(3a)设置网络训练的最大迭代次数E，初始学习率Lr，对比损失中的阈值t，批量大小B；
(3b)将P个样本对输入到多示例孪生网络，进行初步的光谱特征提取和特征维度转换，得到上侧样本集和下侧样本集转换后的光谱特征集合Sup和Sdown；
(3c)将上下两个光谱特征集合Sup和Sdown输入长短时记忆网络LSTM，并计算上侧特征集合的权重vup和下侧特征集合的权重vdown；公式如下：
其中，为上侧光谱特征集合Sup的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，/>为下侧光谱特征集合Sdown的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，σ为Sigmoid激活函数，/>和bl分别为多示例孪生网络中权重计算模块对应的权重和偏置；
(3d)根据上侧权重vup对上侧光谱特征集合Sup进行加权求和，得到上侧特征集合的融合特征mup；公式如下：
其中，为上侧样本集合中第i个样本在第l个时间步的权重，/>为上侧样本集合中第i个样本在第l个时间步的特征，nup为总的时间步数；
(3e)根据下侧权重vdown对下侧光谱特征集合Sdown进行加权求和，得到下侧特征集合的融合特征mdown；公式如下：
其中为下侧样本集合的第i个样本在第l个时间步的权重，/>为下侧样本集合的第i个样本在第l个时间步的特征，/>为总的时间步数；
(3f)计算融合后两种特征mup和mdown之间的欧氏距离e，并根据该欧氏距离计算特征损失Loss1；
(3g)将上侧样本集对应的融合特征mup输入到分类器，根据分类的结果计算分类损失Loss2；
(3h)根据特征损失Loss1和分类损失Loss2，得到最终的损失：Loss＝Loss1+Loss2
(3i)依据最终的损失Loss进行反向传播，以此更新网络参数；
(3j)使用更新参数后的模型在验证集上进行测试，得到对应的验证损失Lossval；实现如下：
(3j1)将验证样本集到多示例孪生网络，进行初步的光谱特征提取和特征维度转换，得到验证样本集转换后的光谱特征集合Sval；
(3j2)将验证光谱特征集合Sval输入长短时记忆网络LSTM，并计算验证光谱特征集合Sval的融合权重
其中，为验证光谱特征集合Sval的第i个样本输入长短时记忆网络LSTM后在第l个时间步的隐向量，σ为Sigmoid激活函数，/>和bl分别为多示例孪生网络中权重计算模块对应的权重和偏置；
(3j3)根据验证融合权重vval对验证光谱特征集合Sval进行加权求和，得到验证特征集合的融合特征
其中，为验证集样本集合中第i个样本在第l个时间步的权重，/>为验证集样本集合中第i个样本在第l个时间步的特征，/>为总的时间步数；
(3j4)将验证样本集对应的融合特征mval输入到分类器，根据分类的结果计算验证损失Lossval：
其中，P为总的验证样本对数，Yi val为验证特征集合第i个样本对应的标签，为验证特征集合第i个样本的预测值，σ为Sigmoid激活函数，/>为验证特征集合第i个样本融合后的特征，wT和b分别为多示例孪生网络分类器对应的权重和偏置；
(3k)重复(3b)～(3j)，直到达到最大迭代次数E，取验证损失Lossval最小的模型作为训练好的多示例孪生网络模型；
(4)用训练好的网络模型对测试集数据进行单点测试，输出每个像素属于目标的置信度。
2.根据权利要求1所述的方法，其中(2)构建的多示例孪生网络中各模块结构及功能如下：
所述特征提取模块，用于提取输入像素块中各个像素独立的光谱特征，并将每个像素特征转化为维度统一的向量，其包括三个卷积层、三个池化层、三个激活函数层和一个全连接，每个卷积层的卷积核尺寸均为1×3，卷积核个数分别为20，128和64，池化层采用的是二维最大池化，池化核参数和步长均为1×2，全连接层的输出维度为128；其结构为：
第一卷积层→第一池化层→第一激活函数层→第二卷积层→第二池化层→第二激活函数层→第三卷积层→第三池化层→第三激活函数层→全连接层；
所述权重计算模块：由一个激活函数为Sigmoid的全连接层组成，用于得到上下侧单个示例对上下侧特征集合的权重；
所述特征融合模块：用于将上下侧光谱单个示例依据各个示例的权重进行按权相加；
所述分类器：由一个激活函数为Sigmoid的全连接层组成，用于对融合后的特征进行分类，输出该特征属于目标的置信度。
3.根据权利要求1所述的方法，其中(3f)中计算欧式距离ei，公式如下：
其中，为上侧特征集合的第i个样本对应的融合特征，/>为下侧特征集合的第i个样本对应的融合特征。
4.根据权利要求1所述的方法，其中(3f)中计算训练集特征损失Loss1，公式如下：
其中，ei为特征融合后上侧融合特征和下侧融合特征第i个样本之间的欧氏距离，P为总的样本对数，t是一个大于0的阈值超参数，用于决定不同类数据包不相似程度的下界，Li是输入第i个样本的标签，当输入的样本是“正-负”组合时，Li等于0，当输入的样本是“正-正”组合时，Li等于1。
5.根据权利要求1所述的方法，其中(3g)中计算训练集分类损失Loss2，公式如下：
其中，P为总的样本对数，Yi为上侧特征集第i个样本对应的标签，为上侧特征集第i个样本的预测值，σ为Sigmoid激活函数，/>为上侧特征集合第i个样本融合后的特征，wT和b分别为多示例孪生网络分类器对应的权重和偏置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958503.XA CN113723482B (zh) | 2021-08-20 | 2021-08-20 | 基于多示例孪生网络的高光谱目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110958503.XA CN113723482B (zh) | 2021-08-20 | 2021-08-20 | 基于多示例孪生网络的高光谱目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723482A CN113723482A (zh) | 2021-11-30 |
| CN113723482B true CN113723482B (zh) | 2024-04-02 |
Family
ID=78677014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110958503.XA Active CN113723482B (zh) | 2021-08-20 | 2021-08-20 | 基于多示例孪生网络的高光谱目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723482B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648077B (zh) * | 2022-05-18 | 2022-09-06 | 合肥高斯智能科技有限公司 | 一种用于多点位工业数据缺陷检测的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688968A (zh) * | 2019-09-30 | 2020-01-14 | 西安电子科技大学 | 基于多示例深度卷积记忆网络的高光谱目标检测方法 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN111898633A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于高光谱图像的海上舰船目标检测方法 |
| CN112016400A (zh) * | 2020-08-04 | 2020-12-01 | 香港理工大学深圳研究院 | 一种基于深度学习的单类目标检测方法、设备及存储介质 |
| WO2020264479A1 (en) * | 2019-06-28 | 2020-12-30 | Schlumberger Technology Corporation | Field data acquisition and virtual training system |
| CN112364773A (zh) * | 2020-11-12 | 2021-02-12 | 西安电子科技大学 | 基于l1正则约束深度多示例学习的高光谱目标检测方法 |
| CN112766161A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于集成约束多示例学习的高光谱目标检测方法 |
| CN112816474A (zh) * | 2021-01-07 | 2021-05-18 | 武汉大学 | 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9958327B2 (en) * | 2014-10-01 | 2018-05-01 | Nanometrics Incorporated | Deconvolution to reduce the effective spot size of a spectroscopic optical metrology device |
| US11205103B2 (en) * | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
-
2021
- 2021-08-20 CN CN202110958503.XA patent/CN113723482B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020264479A1 (en) * | 2019-06-28 | 2020-12-30 | Schlumberger Technology Corporation | Field data acquisition and virtual training system |
| CN110688968A (zh) * | 2019-09-30 | 2020-01-14 | 西安电子科技大学 | 基于多示例深度卷积记忆网络的高光谱目标检测方法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN111898633A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于高光谱图像的海上舰船目标检测方法 |
| CN112016400A (zh) * | 2020-08-04 | 2020-12-01 | 香港理工大学深圳研究院 | 一种基于深度学习的单类目标检测方法、设备及存储介质 |
| CN112364773A (zh) * | 2020-11-12 | 2021-02-12 | 西安电子科技大学 | 基于l1正则约束深度多示例学习的高光谱目标检测方法 |
| CN112816474A (zh) * | 2021-01-07 | 2021-05-18 | 武汉大学 | 一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法 |
| CN112766161A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于集成约束多示例学习的高光谱目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Hyperspectral Target Detection via Multiple Instance LSTM Target Localization Network;陈晓莹;IGARSS 2020 - 2020 IEEE International Geoscience and Remote Sensing Symposium;第 IGARSS 2020 卷(第 IGARSS 2020 期);2436-2439 * |
| LSTSVM的样本缩减与空间信息融合方法;王立国;路婷婷;宛宇美;郝思媛;;光电子・激光;20150415(04);全文 * |
| 基于小样本学习的高光谱遥感图像分类算法;张婧;袁细国;;聊城大学学报(自然科学版)(06);全文 * |
| 少量样本下基于孪生CNN的SAR目标识别;王博威;潘宗序;胡玉新;马闻;;雷达科学与技术(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723482A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553193B (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| CN110334765B (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| CN105138973B (zh) | 人脸认证的方法和装置 | |
| CN106228185B (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
| CN110097103A (zh) | 基于生成对抗网络的半监督图像分类方法 | |
| CN106446895A (zh) | 一种基于深度卷积神经网络的车牌识别方法 | |
| CN110070116B (zh) | 基于深度树状训练策略的分段式选择集成图像分类方法 | |
| CN114169442A (zh) | 基于双原型网络的遥感图像小样本场景分类方法 | |
| CN108960142B (zh) | 基于全局特征损失函数的行人再识别方法 | |
| CN107563430A (zh) | 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN109255339B (zh) | 基于自适应深度森林人体步态能量图的分类方法 | |
| CN112364974B (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN111832404B (zh) | 一种基于特征生成网络的小样本遥感地物分类方法及系统 | |
| CN113505810A (zh) | 基于池化视觉Transformer杂草生长周期检测方法 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN113723482B (zh) | 基于多示例孪生网络的高光谱目标检测方法 | |
| CN116363507A (zh) | 一种基于蛇优化算法的XGBoost和深度神经网络融合的遥感图像分类方法 | |
| CN113469084B (zh) | 基于对比生成对抗网络的高光谱图像分类方法 | |
| CN114065831A (zh) | 基于多尺度随机深度残差网络的高光谱图像分类方法 | |
| CN116152194A (zh) | 一种物体缺陷检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |