CN105243154A - 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 - Google Patents
基于显著点特征和稀疏自编码的遥感图像检索方法及系统 Download PDFInfo
- Publication number
- CN105243154A CN105243154A CN201510708598.4A CN201510708598A CN105243154A CN 105243154 A CN105243154 A CN 105243154A CN 201510708598 A CN201510708598 A CN 201510708598A CN 105243154 A CN105243154 A CN 105243154A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- matrix
- training
- salient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 97
- 239000011159 matrix material Substances 0.000 claims abstract description 92
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 5
- 230000002087 whitening effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于显著点特征和稀疏自编码的遥感图像检索方法及系统,包括提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;采用自适应阈值法将显著图二值化,并与特征点矩阵进行掩膜运算得到过滤后的显著特征点;从各训练图像分别选取若干显著特征点构造训练样本,根据白化后的训练样本集训练稀疏自编码网络,得到特征提取器;利用特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;基于提取的特征向量,根据预设的相似性度量准则进行图像检索。本发明通过训练的稀疏自编码网络实现了图像特征的自动提取,并且提取的特征具有很好的识别力,保证了检索查准率。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于显著点特征和稀疏自编码的遥感图像检索方法及系统。
背景技术
随着遥感对地观测能力的提高,可获取的遥感数据呈现出多元化和海量化的特点。然而,海量遥感数据为各类重大应用需求提供丰富数据源的同时,由于目前地面数据处理和分析能力不足,遥感大数据的“数据海量、信息淹没”问题日益突出。如何利用新兴的科学计算技术和手段,快速定位和智能检索遥感图像中的感兴趣目标或区域,是遥感大数据处理和分析面临的挑战,也是遥感图像处理领域亟待解决的科学问题。遥感图像检索技术是解决这一瓶颈问题的有效方法,研究高效的图像检索技术具有重要的意义。
目前的遥感图像检索技术主要是通过对图像的低层特征进行相似性度量,进而返回相似图像。相比传统的基于关键字的检索方法,基于内容的检索方法效率和准确度更高,但设计一种能有效描述各种复杂遥感图像场景的特征描述方法是非常困难的。近些年,深度学习由于具有良好的特征学习能力逐渐成为图像识别领域的研究热点。相比人工设计的特征,基于深度学习的方法能通过样本训练得到一个特征提取器以实现图像特征的自动提取,适用于包含复杂场景的遥感图像检索。由于网络设计和训练相对简单,稀疏自编码已成为一种常用的深度学习方法,并在图像处理中应用广泛。
对于稀疏自编码网络训练,在构造训练样本方面,现有方法通常是从训练图像上随机选取一定数目和尺寸的图像块构造训练样本,这种样本构造方法有以下缺陷。第一,从人眼视觉理论的角度来说,人们关注的是遥感图像上的特定目标,而随机选取的图像块可能并不包含关注的特定目标。第二,由于训练图像的尺寸固定,因此随机选取图像块构造训练样本的方法可能会造成训练样本不足。第三,由于训练样本是图像块,利用训练好的网络进行特征提取时得到是图像块而非整幅图像的特征,因此不能直接用于图像检索。为了得到整幅图像的特征,通常需要采用卷积的方法,但这一过程不仅计算效率低而且会引入其他参数。在激活函数选择方面,现有方法通常采用sigmoid函数作为网络隐含层神经元的激活函数,而sigmoid函数在网络反向传播时存在严重的梯度消失等问题,不利于网络训练。对于稀疏自编码网络特征提取,现有方法通常是直接将隐含层的激活值作为提取的特征而没有经过稀疏化处理,而实验表明稀疏特征性能更好。
发明内容
针对现有技术存在的不足,本发明提供了一种基于显著点特征和稀疏自编码的遥感图像检索技术方案。本发明将提取遥感图像的显著点特征作为稀疏自编码网络的输入进而对其进行训练,最终利用训练的特征提取器提取图像特征实现遥感图像检索。
本发明所采用的技术方案是一种基于显著点特征和稀疏自编码的遥感图像检索方法,包括以下步骤:
步骤1,提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;
步骤2,对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点;实现方式如下,
采用自适应阈值法将显著图二值化时,根据显著图像素的显著性大小,确定显著图的二值化阈值T如下,
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图像素(x,y)的显著值;
设根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary,设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,计算显著特征点矩阵如下,
步骤3,从图像库中取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,得到训练样本集X,根据白化后的训练样本集X′训练稀疏自编码网络,得到特征提取器;
所述稀疏自编码网络输入层、隐含层以及输出层,其中隐含层神经元采用ReLU函数作为激活函数,输出层神经元采用softplus函数作为激活函数,稀疏自编码网络的代价函数定义如下,
其中,第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数;
步骤4,对图像库中的所有图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;实现方式如下,
提取的图像特征Y表示如下,
Y=f1(W1PI′+b1)
其中,显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵PI白化后的结果;
对于提取的图像特征Y,进行如下稀疏化处理得到稀疏特征矩阵Z,
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)]
其中,α表示阈值函数的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y);
设从一幅图像检测到的SIFT点个数是n个,对稀疏特征矩阵Z进一步处理,得到特征向量F如下,
其中,和分别表示矩阵Z+和Z-的第i个列向量。
步骤5,基于步骤4提取的特征向量,根据预设的相似性度量准则进行图像检索。
而且,步骤1中,提取图像库中各图像的特征点得到特征点矩阵,利用SIFT算子提取实现。
而且,步骤5中,预设的相似性度量准则采用城区距离。
本发明还相应提供一种基于显著点特征和稀疏自编码的遥感图像检索系统,包括以下模块,
特征点提取模块,用于提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;
显著特征点提取模块,用于对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点;实现方式如下,
采用自适应阈值法将显著图二值化时,根据显著图像素的显著性大小,确定显著图的二值化阈值T如下,
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图像素(x,y)的显著值;
设根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary,设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,计算显著特征点矩阵如下,
训练模块,用于从图像库中取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,得到训练样本集X,根据白化后的训练样本集X′训练稀疏自编码网络,得到特征提取器;
所述稀疏自编码网络输入层、隐含层以及输出层,其中隐含层神经元采用ReLU函数作为激活函数,输出层神经元采用softplus函数作为激活函数,稀疏自编码网络的代价函数定义如下,
其中,第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数;
特征提取模块,用于对图像库中的所有图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;实现方式如下,
提取的图像特征Y表示如下,
Y=f1(W1PI′+b1)
其中,显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵PI白化后的结果;
对于提取的图像特征Y,进行如下稀疏化处理得到稀疏特征矩阵Z,
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)]
其中,α表示阈值函数的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y);
设从一幅图像检测到的SIFT点个数是n个,对稀疏特征矩阵Z进一步处理,得到特征向量F如下,
其中,和分别表示矩阵Z+和Z-的第i个列向量。
检索模块,用于基于特征提取模块提取的特征向量,根据预设的相似性度量准则进行图像检索。
而且,特征点提取模块中,提取图像库中各图像的特征点得到特征点矩阵,利用SIFT算子提取实现。
而且,检索模块中,预设的相似性度量准则采用城区距离。
与现有技术相比,本发明具有如下特点和有益效果,
1、采用视觉注意模型计算图像的显著图,并将显著图二值化对SIFT提取的特征点进行过滤得到图像的显著特征点,不仅符合人眼的视觉注意特点而且能更好地反映出人们的检索需求。
2、选取图像的显著特征点构造训练样本,弥补了传统的在训练图像上随机取样构造训练样本的缺陷。
3、利用稀疏自编码网络训练得到的特征提取器实现了图像特征的自动提取,免除了针对复杂遥感图像的特征设计过程。
4、扩展性好,训练样本包括但不仅限于显著特征点。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明提出的基于显著点特征和稀疏自编码的遥感图像检索方法首先提取图像的特征点得到特征点矩阵,并计算图像的显著图,然后采用自适应阈值将显著图二值化与特征点矩阵进行“掩膜”运算得到显著特征点,接着选取一定数目的显著特征点构造训练样本训练稀疏自编码网络,并利用训练的特征提取器自动提取图像特征得到用于检索的特征向量,最后根据预设的相似性度量方法进行图像检索并返回相似图像。
为详细说明本发明技术方案,参见图1,提供实施例流程具体说明如下:
步骤1,提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图。
具体实施时,可以采用现有的图像库或由本领域技术人员自行构建的图像库。例如选取一幅包含多个地物类别的高分辨率遥感图像,采用Tiles分块方式进行切分构建包含多个类别的检索图像库。对于图像库中的每一幅图像,实施例首先采用SIFT(ScaleInvariantFeatureTransform)算子提取图像的特征点(关键点)得到特征点矩阵,然后采用GBVS(Graph-BasedVisualSaliency)模型计算图像的显著图,Tile分块方法,SIFT算子以及GBVS模型是现有技术,本发明不予赘述。
步骤2,对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行“掩膜”运算得到过滤后的显著特征点。
实施例中根据像素的显著性大小确定显著图的二值化阈值,二值化显著图与特征点矩阵进行“掩膜”运算后得到显著特征点,实现如下:
根据显著图像素的显著性大小,由式(1)确定显著图的二值化阈值T。
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图(x,y)处像素的显著值。
根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary。利用二值化显著图对图像的特征点矩阵进行过滤得到显著特征点。设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,则显著特征点矩阵可通过式(2)计算。
其中,
矩阵
矩阵P的每一个元素表示一个SIFT关键点对应的特征向量,而SIFT关键点对应的特征向量一般是128维的,本发明实施例相应使用128维;
矩阵
其中,P128(x,y)表示特征点对应的特征向量,若(x,y)处像素没有特征点则P128(x,y)=0。Ibinary中各元素为0或1,Ibinary(x,y)表示二值化显著图在(x,y)处的取值。符号为数乘运算符号。
步骤3,从图像库中选取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,训练稀疏自编码网络,得到特征提取器。
实施例中,步骤3中选取一定数目的训练图像的显著特征点而非传统的图像块构造训练样本,训练时选用ReLU(RectifiedLinearUnits)函数而非传统的sigmoid函数作为稀疏自编码网络隐含层神经元的激活函数。例如,步骤3中每个显著特征点是一个4×4×8=128维的特征向量,一个特征点构成一个训练样本。具体实施时,训练图像的数目、一幅训练图像中显著特征点的数目可由本领域技术人员自行指定。
具体实现如下:
首先,选取图像的显著特征点,构造训练样本集。
实施例首先从图像库中随机选取一定数目的图像作为训练图像,然后随机选取一定数目的训练图像的显著特征点构造训练样本集。训练样本集可用式(3)表示:
其中,m表示训练样本的个数,X的每一列表示一个显著特征点,即一个训练样本。例如,[x1,1,x2,1,…,x128,1]是第1个训练样本,[x1,2,x2,2,…,x128,2]是第2个训练样本。
然后,训练稀疏自编码网络得到特征提取器。
由于同一幅训练图像提取的显著特征点存在一定的相关性,因此不能直接把训练样本集X输入稀疏自编码网络进行训练。训练前采用ZCA(ZeroComponentAnalysis)白化对训练样本进行处理得到白化后的训练样本集X′,并保存ZCA白化时的相关参数,ZCA白化实现为现有技术,本发明不予赘述。
实施例定义了一个包含输入层、隐含层以及输出层3层的稀疏自编码网络,其中隐含层神经元采用ReLU函数f1=max(0,x)作为激活函数,输出层神经元采用softplus函数f2=ln(1+ex)作为激活函数。相比传统的sigmoid函数,ReLU函数能一定程度上缓解梯度消失问题更利于网络训练。给定训练样本集X′,则稀疏自编码网络的代价函数可定义为式(4)。
式中第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数。具体实施时,训练时可采用梯度下降等方法优化式(4)中的代价函数得到权重和偏置矩阵参数W和b。
步骤4,对图像库中的所有图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的特征进行稀疏化处理,得到最终的用于检索的特征向量。
实施例的步骤4中将图像的显著特征点输入特征提取器进行映射得到相应的图像特征,再利用阈值函数对提取的特征进行稀疏化处理即可得到最终的用于检索的特征向量。
提取的图像特征Y可用式(5)表示如下,
Y=f1(W1PI′+b1)(5)
其中,将W1PI+b1作为变量x代入ReLU函数f1=max(0,x),此处所用的显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵,使用与对训练样本集X进行白化时相同的ZCA白化参数进行预处理的结果。对于提取的图像特征Y,用式(6)进行稀疏化处理得到稀疏特征矩阵Z。
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)](6)
其中,α表示阈值函数f=max(0,x-α)和f=max(0,α-Y)的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y)。
为了得到最终的用于检索的特征向量F,设从一幅图像检测到的SIFT点个数是n个,用式(7)对稀疏特征矩阵Z进一步处理。
其中,和分别表示矩阵Z+和Z-的第i个列向量。
步骤5,基于步骤4提取的特征向量,根据预设的相似性度量准则进行图像检索:具体实施时,本领域技术人员可自行预设相似性度量准则。实施例采用城区距离(L1范数)计算查询图像和其他图像的相似性,并按相似性大小返回相关图像。具体实施时,可以图像库中任一图像为查询图像,得到按相似性大小返回的相关图像,对图像库以外的其他图像,也可以采用同样的方式提取特征向量,并从图像库中检索。
具体实施时,以上流程可采用计算机软件方式实现自动运行流程,也可以采用模块化方式提供相应系统。本发明还相应提供一种基于显著点特征和稀疏自编码的遥感图像检索系统,包括以下模块,
特征点提取模块,用于提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;
显著特征点提取模块,用于对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点;实现方式如下,
采用自适应阈值法将显著图二值化时,根据显著图像素的显著性大小,确定显著图的二值化阈值T如下,
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图像素(x,y)的显著值;
设根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary,设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,计算显著特征点矩阵如下,
训练模块,用于从图像库中取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,得到训练样本集X,根据白化后的训练样本集X′训练稀疏自编码网络,得到特征提取器;
所述稀疏自编码网络输入层、隐含层以及输出层,其中隐含层神经元采用ReLU函数作为激活函数,输出层神经元采用softplus函数作为激活函数,稀疏自编码网络的代价函数定义如下,
其中,第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数;
查询特征提取模块,用于对待查询的图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;实现方式如下,
提取的图像特征Y表示如下,
Y=f1(W1PI′+b1)
其中,显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵PI白化后的结果;
对于提取的图像特征Y,进行如下稀疏化处理得到稀疏特征矩阵Z,
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)]
其中,α表示阈值函数的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y);
设从一幅图像检测到的SIFT点个数是n个,对稀疏特征矩阵Z进一步处理,得到特征向量F如下,
其中,和分别表示矩阵Z+和Z-的第i个列向量。
检索模块,用于基于查询特征提取模块提取的特征向量,根据预设的相似性度量准则进行图像检索。
本文中所描述的具体实施例仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于显著点特征和稀疏自编码的遥感图像检索方法,其特征在于:包括以下步骤,
步骤1,提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;
步骤2,对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点;实现方式如下,
采用自适应阈值法将显著图二值化时,根据显著图像素的显著性大小,确定显著图的二值化阈值T如下,
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图像素(x,y)的显著值;
设根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary,设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,计算显著特征点矩阵如下,
步骤3,从图像库中取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,得到训练样本集X,根据白化后的训练样本集X′训练稀疏自编码网络,得到特征提取器;
所述稀疏自编码网络输入层、隐含层以及输出层,其中隐含层神经元采用ReLU函数作为激活函数,输出层神经元采用softplus函数作为激活函数,稀疏自编码网络的代价函数定义如下,
其中,第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数;
步骤4,对图像库中的所有图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;实现方式如下,
提取的图像特征Y表示如下,
Y=f1(W1PI′+b1)
其中,显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵PI白化后的结果;
对于提取的图像特征Y,进行如下稀疏化处理得到稀疏特征矩阵Z,
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)]
其中,α表示阈值函数的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y);
设从一幅图像检测到的SIFT点个数是n个,对稀疏特征矩阵Z进一步处理,得到特征向量F如下,
其中,和分别表示矩阵Z+和Z-的第i个列向量。
步骤5,基于步骤4提取的特征向量,根据预设的相似性度量准则进行图像检索。
2.根据权利要求1所述基于显著点特征和稀疏自编码的遥感图像检索方法,其特征在于:步骤1中,提取图像库中各图像的特征点得到特征点矩阵,利用SIFT算子提取实现。
3.根据权利要求1或2所述基于显著点特征和稀疏自编码的遥感图像检索方法,其特征在于:步骤5中,预设的相似性度量准则采用城区距离。
4.一种基于显著点特征和稀疏自编码的遥感图像检索系统,其特征在于:包括以下模块,
特征点提取模块,用于提取图像库中各图像的特征点得到特征点矩阵,并利用视觉注意模型计算各图像的显著图;
显著特征点提取模块,用于对于图像库中各图像的显著图,分别采用自适应阈值法将显著图二值化,并与图像相应的特征点矩阵进行掩膜运算得到过滤后的显著特征点;实现方式如下,
采用自适应阈值法将显著图二值化时,根据显著图像素的显著性大小,确定显著图的二值化阈值T如下,
其中,w和h分别表示显著图的宽和高,I(x,y)表示显著图像素(x,y)的显著值;
设根据二值化阈值T对显著图二值化,得到二值化显著图,相应有矩阵Ibinary,设P表示图像的特征点矩阵,PI表示过滤后的显著特征点矩阵,计算显著特征点矩阵如下,
训练模块,用于从图像库中取若干图像作为训练图像,从各训练图像分别选取若干显著特征点构造训练样本,得到训练样本集X,根据白化后的训练样本集X′训练稀疏自编码网络,得到特征提取器;
所述稀疏自编码网络输入层、隐含层以及输出层,其中隐含层神经元采用ReLU函数作为激活函数,输出层神经元采用softplus函数作为激活函数,稀疏自编码网络的代价函数定义如下,
其中,第一项为均方误差项,第二项为正则项,HW,b表示训练样本集X′的网络输出值,W=[W1,W2]和b=[b1,b2]分别表示网络输入层和隐含层间的权重W1和偏置b1以及隐含层和输出层间的权重W2和偏置b2构成的权重矩阵,λ表示正则项系数;
特征提取模块,用于对图像库中的所有图像,利用步骤3训练所得的特征提取器进行特征提取,并用阈值函数对提取的图像特征进行稀疏化处理,得到最终的用于检索的特征向量;实现方式如下,
提取的图像特征Y表示如下,
Y=f1(W1PI′+b1)
其中,显著特征点矩阵PI′是根据步骤2所得过滤后的显著特征点矩阵PI白化后的结果;
对于提取的图像特征Y,进行如下稀疏化处理得到稀疏特征矩阵Z,
Z=[Z+,Z-]=[max(0,Y-α),max(0,α-Y)]
其中,α表示阈值函数的阈值,矩阵Z+=max(0,Y-α),Z-=max(0,α-Y);
设从一幅图像检测到的SIFT点个数是n个,对稀疏特征矩阵Z进一步处理,得到特征向量F如下,
其中,和分别表示矩阵Z+和Z-的第i个列向量。
检索模块,用于基于查询特征提取模块提取的特征向量,根据预设的相似性度量准则进行图像检索。
5.根据权利要求4所述基于显著点特征和稀疏自编码的遥感图像检索系统,其特征在于:特征点提取模块中,提取图像库中各图像的特征点得到特征点矩阵,利用SIFT算子提取实现。
6.根据权利要求4或5所述基于显著点特征和稀疏自编码的遥感图像检索系统,其特征在于:检索模块中,预设的相似性度量准则采用城区距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510708598.4A CN105243154B (zh) | 2015-10-27 | 2015-10-27 | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510708598.4A CN105243154B (zh) | 2015-10-27 | 2015-10-27 | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105243154A true CN105243154A (zh) | 2016-01-13 |
CN105243154B CN105243154B (zh) | 2018-08-21 |
Family
ID=55040802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510708598.4A Active CN105243154B (zh) | 2015-10-27 | 2015-10-27 | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105243154B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718531A (zh) * | 2016-01-14 | 2016-06-29 | 广州市万联信息科技有限公司 | 图像数据库的建立方法及图像识别方法 |
CN106228130A (zh) * | 2016-07-19 | 2016-12-14 | 武汉大学 | 基于模糊自编码网络的遥感影像云检测方法 |
CN106295613A (zh) * | 2016-08-23 | 2017-01-04 | 哈尔滨理工大学 | 一种无人机目标定位方法及系统 |
CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
CN107122809A (zh) * | 2017-04-24 | 2017-09-01 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
CN107515895A (zh) * | 2017-07-14 | 2017-12-26 | 中国科学院计算技术研究所 | 一种基于目标检测的视觉目标检索方法与系统 |
CN108830172A (zh) * | 2018-05-24 | 2018-11-16 | 天津大学 | 基于深度残差网络与sv编码的飞机遥感图像检测方法 |
CN109259733A (zh) * | 2018-10-25 | 2019-01-25 | 深圳和而泰智能控制股份有限公司 | 一种睡眠中呼吸暂停检测方法、装置和检测设备 |
CN111144483A (zh) * | 2019-12-26 | 2020-05-12 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN112731410A (zh) * | 2020-12-25 | 2021-04-30 | 上海大学 | 一种基于cnn的水下目标声呐探测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073748A (zh) * | 2011-03-08 | 2011-05-25 | 武汉大学 | 一种基于视觉关键词的遥感影像语义检索方法 |
CN102867196A (zh) * | 2012-09-13 | 2013-01-09 | 武汉大学 | 基于Gist特征学习的复杂海面遥感影像舰船检测方法 |
CN103309982A (zh) * | 2013-06-17 | 2013-09-18 | 武汉大学 | 一种基于视觉显著点特征的遥感影像检索方法 |
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
-
2015
- 2015-10-27 CN CN201510708598.4A patent/CN105243154B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073748A (zh) * | 2011-03-08 | 2011-05-25 | 武汉大学 | 一种基于视觉关键词的遥感影像语义检索方法 |
CN102867196A (zh) * | 2012-09-13 | 2013-01-09 | 武汉大学 | 基于Gist特征学习的复杂海面遥感影像舰船检测方法 |
CN103309982A (zh) * | 2013-06-17 | 2013-09-18 | 武汉大学 | 一种基于视觉显著点特征的遥感影像检索方法 |
CN104462494A (zh) * | 2014-12-22 | 2015-03-25 | 武汉大学 | 一种基于无监督特征学习的遥感图像检索方法及系统 |
Non-Patent Citations (2)
Title |
---|
周维勋 等: "利用视觉注意模型和局部特征的遥感影像检索方法", 《武汉大学学报.信息科学版》 * |
王星 等: "基于视觉显著点特征的遥感影像检索方法", 《测绘科学》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105718531A (zh) * | 2016-01-14 | 2016-06-29 | 广州市万联信息科技有限公司 | 图像数据库的建立方法及图像识别方法 |
CN105718531B (zh) * | 2016-01-14 | 2019-12-17 | 广州市万联信息科技有限公司 | 图像数据库的建立方法及图像识别方法 |
CN106228130B (zh) * | 2016-07-19 | 2019-09-10 | 武汉大学 | 基于模糊自编码网络的遥感影像云检测方法 |
CN106228130A (zh) * | 2016-07-19 | 2016-12-14 | 武汉大学 | 基于模糊自编码网络的遥感影像云检测方法 |
CN106295613A (zh) * | 2016-08-23 | 2017-01-04 | 哈尔滨理工大学 | 一种无人机目标定位方法及系统 |
CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
CN106909924B (zh) * | 2017-02-18 | 2020-08-28 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
CN107122809A (zh) * | 2017-04-24 | 2017-09-01 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
CN107122809B (zh) * | 2017-04-24 | 2020-04-28 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
CN107515895B (zh) * | 2017-07-14 | 2020-06-05 | 中国科学院计算技术研究所 | 一种基于目标检测的视觉目标检索方法与系统 |
CN107515895A (zh) * | 2017-07-14 | 2017-12-26 | 中国科学院计算技术研究所 | 一种基于目标检测的视觉目标检索方法与系统 |
CN108830172A (zh) * | 2018-05-24 | 2018-11-16 | 天津大学 | 基于深度残差网络与sv编码的飞机遥感图像检测方法 |
CN109259733A (zh) * | 2018-10-25 | 2019-01-25 | 深圳和而泰智能控制股份有限公司 | 一种睡眠中呼吸暂停检测方法、装置和检测设备 |
CN111144483A (zh) * | 2019-12-26 | 2020-05-12 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN111144483B (zh) * | 2019-12-26 | 2023-10-17 | 歌尔股份有限公司 | 一种图像特征点过滤方法以及终端 |
CN112731410A (zh) * | 2020-12-25 | 2021-04-30 | 上海大学 | 一种基于cnn的水下目标声呐探测方法 |
CN112731410B (zh) * | 2020-12-25 | 2021-11-05 | 上海大学 | 一种基于cnn的水下目标声呐探测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105243154B (zh) | 2018-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112750140B (zh) | 基于信息挖掘的伪装目标图像分割方法 | |
CN105243154B (zh) | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 | |
CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN112446398B (zh) | 图像分类方法以及装置 | |
CN115240121B (zh) | 一种用于增强行人局部特征的联合建模方法和装置 | |
CN104462494B (zh) | 一种基于无监督特征学习的遥感图像检索方法及系统 | |
CN105678284B (zh) | 一种固定位人体行为分析方法 | |
CN105574063B (zh) | 基于视觉显著性的图像检索方法 | |
CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
CN109714526B (zh) | 智能摄像头及控制系统 | |
CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN115375781A (zh) | 一种数据处理方法及其装置 | |
CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
Liu et al. | CAFFNet: channel attention and feature fusion network for multi-target traffic sign detection | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN117557774A (zh) | 一种基于改进YOLOv8的无人机图像小目标检测方法 | |
Lu et al. | An iterative classification and semantic segmentation network for old landslide detection using high-resolution remote sensing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |