CN114238682A - 一种基于神经网络的图像检索方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于神经网络的图像检索方法及系统。该方法包括：获取每张检索图像输入分类网络中所有神经元输出的输出值序列；根据输出值序列在一个神经元的均值和方差得到特征指标；根据检索图像与对应簇的位置得到每个神经元的区分度；获取检索图像对应样本点的备选样本点，进一步得到每张检索图像对应的高斯模型；根据特征指标与区分度获取高斯模型的权值；获取多张检索图像的混合高斯模型，根据混合高斯模型获取所有备选样本点的匹配概率获取推荐给用户的备选样本点的顺序。能够提取图像中具有的特征，从而更加精准的将检索图像与数据库中的图像进行匹配推荐，提高检索图像分类的准确率。

Description

一种基于神经网络的图像检索方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于神经网络的图像检索方法及系统。

背景技术

图像检索，简单来说便是从图像检索数据库中检索出满足条件的图片，图像检索技术的研究根据描述图像内容方式的不同可以分为两类，一类是基于文本的图像检索技术，简称TBIR，一类是基于内容的图像检索技术，简称CBIR。

现有的图像检索方法中，通常是通过分类网络获取检索图像的类别，使用检索图像的类别与数据库中各图像的类别进行对比，根据各类别之间的相似度确定图像之间的匹配程度；但对于一些特殊的检索图像，该检索图像所具有的特征类别对应到数据库中特征的图片较少，而利用数据库中图片对分类网络进行训练时，类别内图片较少对分类网络训练的拟合效果较差，则对检索图像的分类准确率较低。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于神经网络的图像检索方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于神经网络的图像检索方法，该方法包括：

将用户上传的多张检索图像输入分类网络，所述分类网络包括多个神经元；获取所述分类网络在对每张检索图像进行分类的过程中所有神经元输出的输出值序列；

获取在任意一个神经元上多张所述检索图像的输出值的均值和方差，根据所述均值和方差得到该神经元的特征指标；

所有所述神经元构成一个多维的样本空间，每个所述输出值序列为所述样本空间中检索图像对应的样本点；将样本空间中检索图像对应的样本点匹配到对应的簇，根据样本空间中检索图像对应的样本点的位置得到每个所述神经元的区分度；所述簇是将数据库中所有图像所对应的输出值序列在样本空间中进行聚类得到的；

根据所述样本空间中数据库中图像对应的样本点与检索图像对应的样本点之间的距离获取检索图像对应样本点的备选样本点，将所述备选样本点与检索图像对应的样本点拟合得到每张所述检索图像对应的高斯模型；根据所述特征指标与所述区分度进行加权平均获取所述高斯模型的权值；

以所述权值作为对应所述高斯模型的权重进行加权求和获取多张所述检索图像的混合高斯模型，根据所述混合高斯模型获取所有所述备选样本点的匹配概率，所述匹配概率最大的备选样本点最先推荐给用户。

优选的，所述输出值为所述分类网络的卷积层中每个所述神经元的输出值，每个所述神经元为所述卷积层中的每次卷积操作。

优选的，所述根据所述均值和方差得到该神经元的特征指标的步骤，包括：

计算所述均值与所述方差的平方和，对所述平方和求平方根获取所述特征指标。

优选的，所述将数据库中所有图像所对应的输出值序列在样本空间中进行聚类的步骤，包括：

将数据库中所有图像输入所述分类网络，得到由所述分类网络的神经元输出的输出值序列，每个所述输出值序列为所述样本空间中数据库中图像对应的样本点，对所有数据库中图像对应样本点聚类得到不同的簇。

优选的，所述将样本空间中检索图像对应的样本点匹配到对应的簇的步骤，包括：

拟合所述样本空间中每个簇内样本点对应的输出值序列得到多个高斯函数，将样本空间中检索图像样本点所对应的输出值序列代入多个所述高斯函数得到多个概率值，所述概率值最大时对应的簇为当前所述检索图像的样本点所匹配的对应簇。

优选的，所述根据样本空间中检索图像对应的样本点的位置得到每个所述神经元的区分度的步骤，包括：

获取所述样本空间中所述检索图像对应的样本点到对应簇中心的差异性指标；每个所述神经元的区分度与所述差异性指标呈负相关关系。

优选的，所述根据所述样本空间中数据库中图像对应的样本点与检索图像对应的样本点之间的距离获取检索图像对应样本点的备选样本点的步骤，包括：

计算所述样本空间中数据库中图像对应的样本点与检索图像对应样本点的欧式距离，选取多个所述欧式距离最小的数据库中图像对应的样本点为所述备选样本点。

优选的，所述根据所述混合高斯模型获取所有所述备选样本点的匹配概率的步骤，包括：

将所有所述备选样本点所对应的输出值序列代入所述混合高斯模型中，得到所有所述备选样本点对应的匹配概率。

第二方面，本发明另一个实施例提供了一种基于机器视觉的混凝土砂浆搅拌机控制系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明具有如下有益效果：本发明实施例首先获取分类网络中所有神经元对检索图像的输出值序列，根据所有检索图像的输出值得到该神经元的特征指标；在所有神经元组成的样本空间中，获取数据库中所有图像不同的簇，将检索图像对应的样本点与对应簇中心之间的位置得到每个神经元的区分度。进一步根据样本空间中检索图像对应样本点与数据库中图像对应样本点之间的距离选取备选样本点，以此拟合出每张检索图像对应的高斯模型，并根据每个神经元的特征指标和区分度作为每个高斯模型的权值，最终对所有高斯模型加权求和得到混合高斯模型，根据每个备选样本点在混合高斯模型中输出的匹配概率觉得数据库中图像推荐给用户的顺序。分类网络中的神经元能够准确识别出图像中具有的特征，从而更加精准的将检索图像与数据库中的图像进行匹配推荐，提高检索图像分类推荐的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于神经网络的图像检索方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于神经网络的图像检索方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例具体应用于根据多张检索图像的类别去匹配数据库中包含最多类别的图像的场景，首先获取分类网络中所有神经元对检索图像的输出值序列，根据所有检索图像的输出值序列获取每个神经元的特征指标；在所有神经元组成的样本空间中，将数据库中所有图像进行分类，将检索图像对应的样本点与对应类别的簇中心之间的欧式距离计算每个神经元的区分度。进一步选取每张检索图像对应样本点的备选样本点，以此拟合出每张检索图像对应的高斯模型，并根据每个神经元的特征指标和区分度作为每个高斯模型的权值，最终对所有高斯模型加权求和得到混合高斯模型，根据每个备选样本点在混合高斯模型中输出的匹配概率决定数据库中图像推荐给用户的顺序。分类网络中神经元能够准确识别出图像中具有的特征，从而更加精准的将检索图像与数据库中的图像进行匹配推荐，提高检索图像分类的准确率。

下面结合附图具体的说明本发明所提供的一种基于神经网络的图像检索方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于神经网络的图像检索的方法流程图，该方法包括以下步骤：

步骤S100，将用户上传的多张检索图像输入分类网络，分类网络包括多个神经元；获取分类网络在对每张检索图像进行分类的过程中所有神经元输出的输出值序列。

在进行图像检索时，通常需要一个拥有各种类别图像的数据库，该数据库中的每张图像对应一个标签，该标签用于表示每张图像的类别，当用户提供一张检索图像时，需要利用分类网络从数据库中检索出与该检索图像类别最相似的几张图像，与用户上传的检索图像进行匹配。但在某些特殊场景下，例如用户想检索一张类别为狗和猫争夺食物的图片，但是用户并没有一张图像包含该特征，所以用户可能会提供猫的图像、狗的图像以及食物的图像；对于利用多张检索图像去匹配数据库中图像的情况，需要去揣测用户的意图，并结合数据库中现有的图像来为用户检索出多张符合条件的图像。

当分类网络不能准确的找到数据库中图像来进行匹配时，利用分类网络中最后N个卷积层的所有神经元提取图像的特征。

需要说明的是，分类网络中一个卷积层有多个神经元，每个神经元是一个对一些标量特征加权求和的卷积操作。作为优选，本发明实施例中设置卷积层的数量N＝10。

具体的，将用户上传的多张检索图像输入分类网络，对于第一张检索图像，获取该分类网络的卷积层中每个神经元的输出值，构成输出值序列：

Y₁＝{y₁₁,y₁₂,…,y_1i,…,y_1m}

其中，Y₁表示第一张检索图像对应的输出值序列；y_1i表示第一张检索图像在第i个神经元上的输出值。

以此类推，获取用户上传的每一张检索图像在该分类网络中所对应的输出值序列。

步骤S200，获取多张检索图像的输出值序列在任意一个神经元上的均值和方差，根据均值和方差得到该神经元的特征指标。

由步骤S100中获取到所有检索图像所对应的输出值序列，每个神经元主要用于提取图像上的特征，当神经元的输出值越大，说明该神经元对某一特征有了明显的响应与激活，也即说明该神经元中包含这个特征；因此，神经元的输出值越大，说明该神经元对这个特征的激活程度越明显。

计算所有检索图像的输出值序列在任意一个神经元上的均值为：

其中，E_i表示所有检索图像在第i个神经元上的均值；y_ji表示第j张检索图像在第i个神经元上的输出值；r表示所有检索图像的数量。

根据第i个神经元上的均值进一步获取该神经元上的方差为：

其中，σ_i表示所有检索图像在第i个神经元上的方差；E_i表示第i个神经元上的均值；y_ji表示第j张检索图像在第i个神经元上的输出值；r表示所有检索图像的数量。

进一步的，计算均值与方差的平方和，对平方和求平方根获取特征指标为：

其中，c_i表示第i个神经元的特征指标；σ_i表示所有检索图像在第i个神经元上的方差；E_i表示第i个神经元上的均值。

需要说明的是，每个神经元的特征指标反映了该神经元被不同特征激活的明显程度，因此当该神经元对当前图像特征的激活程度越高，神经元的特征指标越大。

步骤S300，所有神经元构成一个多维的样本空间，每个输出值序列为样本空间中检索图像对应的样本点；将样本空间中检索图像对应的样本点匹配到对应的簇，根据样本空间中检索图像对应的样本点的位置得到每个神经元的区分度；簇是将数据库中所有图像所对应的输出值序列在样本空间中进行聚类得到的。

将数据库中所有图像输入分类网络，得到由分类网络的神经元输出的输出值序列，每个输出值序列为样本空间中数据库中图像对应的样本点，对所有数据库中图像对应样本点聚类得到不同的簇。

具体的，如步骤S100中获取输出值序列的方法，将数据库中所有的图像输入分类网络中，得到数据库中每张图像对应的输出值序列：

Z_k＝{z_k1,z_k2,…,z_ki,…,z_km}

其中，Z_k表示数据库中第k张图像的输出值序列；z_ki表示数据库中第k张图像在第i个神经元的输出值。

以此类推，获取数据库中每张图像所对应的输出值序列，将数据库中所有图像对应的输出值序列构成集合：

Z＝{Z₁,Z₂,…,Z_k,……}

其中，Z表示数据库中所有图像对应的输出值序列的集合；Z₁表示数据库中第一张图像的输出值序列；Z_k表示数据库中第k张图像的输出值序列。

对上述数据库中所有图像对应的输出值序列构成的集合投影到样本空间中，得到该集合对应的样本点集，对该样本点集进行聚类，本发明实施例中利用Mean Shift均值漂移聚类，将所有输出值序列聚类为l个簇，每个簇中都包括至少一个输出值序列。

进一步的，以所有的神经元构成样本空间，每一个输出值序列视为一个样本点，即在样本空间中，包括数据库中图像对应的样本点以及检索图像对应的样本点。当一些样本点的位置处于同一簇时，说明这些样本点密集的分布在一起，也即这些图像的特征密集分布在一起。

对于一个理想的分类网络，能够对同一类别的所有图像提取出相同的特征，但是实际情况的分类网络可能对同一类别的所有图像提取出不同的特征，而这些特征的分布在样本空间中有密有疏，对于一些分布密集的特征可能为分类网络提取到的正确的特征，因此本发明实施例中认为在同一簇内的样本点对应的数据库中的图像是能够被该分类网络正确提取特征，而簇外的样本点对应的数据库中的图像可能并没有被提取出正确的特征。

对于用户上传的一张检索图像而言，如果该检索图像对应的样本点属于某一簇内，那么则认为该分类网络能够从检索图像中提取出正确的特征。拟合样本空间中每个簇内样本点的输出值序列得到对应的高斯函数，将样本空间中检索图像样本点所对应的输出值序列代入多个高斯函数得到多个概率值，概率值最大时对应的簇为当前检索图像的样本点所匹配的对应簇。

具体的，对样本空间中划分好的各个簇内样本点对应的输出值序列进行拟合，得到每个簇内样本点分布的高斯函数，将用户上传的每一张检索图像的输出值序列代入每个簇的高斯函数中，得到每张检索图像属于某个簇的概率值，将概率值最大的高斯函数对应的簇认为是该检索图像的对应簇。

假设在样本空间检索图像对应样本点为y，该检索图像对应簇的簇中心为x，则检索图像对应样本点y与簇中心x的距离越近，说明该分类网络在检索图像上提取到的特征越准确。

具体的，获取样本空间中检索图像对应的样本点到对应簇中心的差异性指标的方法为：假设共计两个神经元，则所构建的样本空间为二维的样本空间，将样本空间中第i个神经元在该检索图像提取到的特征记为y_i，第i个神经元提取到簇内的所有样本点对应的数据库中的图像的平均特征记为x_i，那么该检索图像对应样本点到对应簇中心的差异性指标为：

s_i＝(x_i-y_i)²

其中，s_i表示检索图像对应样本点到对应簇中心在第i个神经元上的差异性指标；x_i表示第i个神经元提取到簇内的所有样本点对应的数据库中的图像的平均特征；y_i表示第i个神经元在该检索图像提取到的特征。

当s_i的取值越大，说明检索图像的样本点越远离对应簇中心，也即第i个神经元在检索图像上提取到的特征越不准确。

进一步的，每个神经元的区分度与差异性指标呈负相关关系，获取分类网络中第i个神经元对检索图像的区分度为：

其中，d_ij表示第i个神经元对第j张检索图像的区分度；s_ij表示第j张检索图像对应样本点到对应簇中心在第i个神经元上的差异性指标。

需要说明的是，区分度是用于表征该分类网络中神经元在检索图像上提取到的特征的准确性；区分度越大，说明检索图像对应的样本点在样本空间中越靠近对应簇的簇中心，说明神经元在检索图像上提取到的特征越准确，分类网络对图像特征的识别也越清晰。

步骤S400，根据样本空间中数据库中图像对应的样本点与检索图像对应的样本点之间的距离获取检索图像对应样本点的备选样本点，将备选样本点与检索图像对应的样本点拟合得到每张检索图像对应的高斯模型；根据特征指标与区分度的乘积获取高斯模型的权值。

由于每张检索图像在数据库中所对应的图像可能不止一张，在样本空间中，计算每一个检索图像对应的样本点与数据库中所有图像之间的欧式距离，选择多张欧式距离最小的数据库中的图像作为备选图像，备选图像在样本空间中对应的样本点为备选样本点。

作为优选，为了减小后续过程的计算量，本发明实施例中将备选样本点的数量设置为20个，即每张检索图像在数据库的图像中对应20张备选图像。

进一步的，对每张检索图像对应的输出值序列及其备选图像对应的输出值进行拟合，得到每张检索图像对应的高斯模型，以此类推，获取用户上传的所有检索图像对应的高斯模型，计算每个高斯模型的权值为：

其中，ω_j表示第j张检索图像对应的高斯模型的权值；c_i表示第i个神经元的特征指标；d_ij表示第i个神经元对第j张检索图像的区分度；m表示神经元的数量。

步骤S500，以权值作为对应高斯模型的权重进行加权求和获取多张检索图像的混合高斯模型，根据混合高斯模型获取所有备选样本点的匹配概率，匹配概率最大的备选样本点最先推荐给用户。

由步骤S400中获取到每张检索图像所对应的高斯模型的权值，以每个高斯模型对应的权值作为权重，计算所有检索图像对应高斯模型的加权求和结果为混合高斯模型。

将所有备选样本点所对应的输出值序列代入混合高斯模型中，得到所有备选样本点对应的匹配概率。

具体的，本发明实施例中有r*20个备选样本点，r表示检索图像的数量；将每一个备选样本点对应的输出值序列代入混合高斯模型中，得到每个备选样本点的匹配概率M，选取匹配概率M最大时备选样本点所对应的数据库中的图像，匹配概率越大，说明数据库中图像与检索图像的匹配度越高，将所有备选样本点对应的数据库中的图像按照匹配概率由大到小进行排序，根据排序的顺序依次将数据库中的对应图像推荐给用户。

综上所述，本发明实施例首先获取分类网络中所有神经元对检索图像的输出值序列，根据所有检索图像的输出值序列在任意一个神经元上的均值和方差得到该神经元的特征指标；在所有神经元组成的样本空间中，将数据库中所有图像进行聚类得到不同的簇，将检索图像对应的样本点与对应簇中心之间的欧式距离计算每个神经元的区分度。进一步根据样本空间中检索图像对应样本点与数据库中图像对应样本点之间的欧式距离，选取每张检索图像对应样本点的备选样本点，以此拟合出每张检索图像对应的高斯模型，并根据每个神经元的特征指标和区分度作为每个高斯模型的权值，最终对所有高斯模型加权求和得到混合高斯模型，根据每个备选样本点在混合高斯模型中输出的匹配概率觉得数据库中图像推荐给用户的顺序。能够准确识别出图像中具有的特征，从而更加精准的将检索图像与数据库中的图像进行匹配推荐，提高检索图像分类推荐的准确率。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于神经网络的图像检索系统，该系统包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于神经网络的图像检索方法实施例中的步骤，例如图1所示的步骤。该一种基于神经网络的图像检索方法在上述实施例中已经详细说明，不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于神经网络的图像检索方法，其特征在于，该方法包括以下步骤：

将用户上传的多张检索图像输入分类网络，所述分类网络包括多个神经元；获取所述分类网络在对每张检索图像进行分类的过程中所有神经元输出的输出值序列；

获取在任意一个神经元上多张所述检索图像的输出值的均值和方差，根据所述均值和方差得到该神经元的特征指标；

所有所述神经元构成一个多维的样本空间，每个所述输出值序列为所述样本空间中检索图像对应的样本点；将样本空间中检索图像对应的样本点匹配到对应的簇，根据样本空间中检索图像对应的样本点的位置得到每个所述神经元的区分度；所述簇是将数据库中所有图像所对应的输出值序列在样本空间中进行聚类得到的；

根据所述样本空间中数据库中图像对应的样本点与检索图像对应的样本点之间的距离获取检索图像对应样本点的备选样本点，将所述备选样本点与检索图像对应的样本点拟合得到每张所述检索图像对应的高斯模型；根据所述特征指标与所述区分度进行加权平均获取所述高斯模型的权值；

以所述权值作为对应所述高斯模型的权重进行加权求和获取多张所述检索图像的混合高斯模型，根据所述混合高斯模型获取所有所述备选样本点的匹配概率，所述匹配概率最大的备选样本点最先推荐给用户。

2.根据权利要求1所述的方法，其特征在于，所述输出值为所述分类网络的卷积层中每个所述神经元的输出值，每个所述神经元为所述卷积层中的每次卷积操作。

3.根据权利要求1所述的方法，其特征在于，所述根据所述均值和方差得到该神经元的特征指标的步骤，包括：

计算所述均值与所述方差的平方和，对所述平方和求平方根获取所述特征指标。

4.根据权利要求1所述的方法，其特征在于，所述将数据库中所有图像所对应的输出值序列在样本空间中进行聚类的步骤，包括：

将数据库中所有图像输入所述分类网络，得到由所述分类网络的神经元输出的输出值序列，每个所述输出值序列为所述样本空间中数据库中图像对应的样本点，对所有数据库中图像对应样本点聚类得到不同的簇。

5.根据权利要求4所述的方法，其特征在于，所述将样本空间中检索图像对应的样本点匹配到对应的簇的步骤，包括：

拟合所述样本空间中每个簇内样本点对应的输出值序列得到多个高斯函数，将样本空间中检索图像样本点所对应的输出值序列代入多个所述高斯函数得到多个概率值，所述概率值最大时对应的簇为当前所述检索图像的样本点所匹配的对应簇。

6.根据权利要求1所述的方法，其特征在于，所述根据样本空间中检索图像对应的样本点的位置得到每个所述神经元的区分度的步骤，包括：

获取所述样本空间中所述检索图像对应的样本点到对应簇中心的差异性指标；每个所述神经元的区分度与所述差异性指标呈负相关关系。

7.根据权利要求1所述的方法，其特征在于，所述根据所述样本空间中数据库中图像对应的样本点与检索图像对应的样本点之间的距离获取检索图像对应样本点的备选样本点的步骤，包括：

计算所述样本空间中数据库中图像对应的样本点与检索图像对应样本点的欧式距离，选取多个所述欧式距离最小的数据库中图像对应的样本点为所述备选样本点。

8.根据权利要求1所述的方法，其特征在于，所述根据所述混合高斯模型获取所有所述备选样本点的匹配概率的步骤，包括：

将所有所述备选样本点所对应的输出值序列代入所述混合高斯模型中，得到所有所述备选样本点对应的匹配概率。

9.一种基于神经网络的图像检索系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～8任意一项所述方法的步骤。

Images