CN109886337B - 基于自适应采样的深度度量学习方法及系统 - Google Patents

Abstract

本发明公开了一种基于自适应采样的深度度量学习方法及系统，其中，该方法包括以下步骤：通过采样器采样得到采样样本；根据采样样本更新度量网络；通过更新后的度量网络在验证集下的表现训练采样器；通过训练后的采样器训练度量网络；根据样本图片通过训练后的度量网络获取测试样本的在度量空间下的表示。该方法通过使用一个可学习的采样器，自适应地对训练集中的样本进行采样，并使用元学习的方法，并通过最大化度量网络的泛化能力来训练采样器，从而可以整合到目前多数深度度量学习方法中的模块。

Description

基于自适应采样的深度度量学习方法及系统

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种基于自适应采样的深度度量学习方法及系统。

背景技术

视觉对于人来说是获取外界信息的最大信息源。随着电子技术的发展，各式各样的视觉传感器被应用于现实生活中，产生了大量的图像被用来记录各种信息，使得单纯依靠人工从海量的图片中找到需要的信息变得不可能。因此，人们希望通过计算机来提取图像中的信息。在计算机视觉中，人需要对图像中传递的相关信息做建模，特征学习就是学习出向量来精确、高效地表达图片中的信息。而度量学习的目标是学习出一种距离，来准确、鲁棒地刻画特征之间的相关性。

度量学习可以广泛地应用于多种视觉应用中，如图像检索，人脸识别，行人再识别，目标跟踪，物体识别和血缘关系验证等。大规模监控系统不仅在刑侦领域起到了非常大的作用，也越来越多地用于企业、学校等的安全维护中。为了从监控视频中提取出有效的信息，通常需要对其中的人物进行分析。监控系统通常由多个摄像头组成，因此多个摄像头之间的协同是一个重要的问题。我们可以通过学习出的度量来衡量两个行人之间的相似性，进而获取相同人不同时间所处的位置。此外，还可以对进入监控系统中的人进行人脸识别，并使用所学度量与数据库中的黑名单进行相似性比对，及时发现危险人物。

深度度量学习方法的训练通常包括两个阶段，数据采样和网络更新。在数据采样阶段，首先随机或按照某种模式从整个训练数据集中采样出一个小批量，然后将其组织成某种结构。在网络更新阶段，首先根据优化目标的定义计算上述小批量的损失，然后使用反向传播算法更新网络。

目前深度度量学习方面的研究分为两个方向，一个方向是对网络优化目标的改进，包括选择优化目标基于的样本结构，以及直接对损失函数的改进。如Wang等人考虑三元组中的三阶几何信息，通过限制负样本处的角度来优化样本之间的距离关系，避免了使用样本之间的绝对距离，达到尺度不变性，提高了优化目标相对于特征变化的鲁棒性。Movshovit等人提出了基于代理点的三元组损失函数，其通过合理地选择并不断更新代理点，使得一个代理点可以表示多个样本点的信息，这样基于几个代理点的损失函数则可以限制许多样本点之间的关系，利用了样本的整体信息，并避免了对所有样本点的采样。另一个方向是对数据采样策略的改进，包括如何从训练集的大量样本中构造出小批量，以及如何从小批量中采样出对训练有用的样本。如Sohn提出了一种称为N-pair的小批量构造方式，能够更有效率地利用一个小批量中的所有样本信息。Song等人提出将小批量中样本对的距离向量扩展为每两个样本之间的距离组成的距离矩阵，其能够更为充分地利用了样本之间的关联，从而提高对小批量的使用效率。

虽然目前的很多采样策略在实验中被证明是有效的，其也存在着两个问题。第一个问题是，其都为根据先验知识预先设计的策略，但目前没有一个很好的标准来确定什么样的采样策略是最优的；第二个问题是，其在度量网络的训练过程中是固定的，因而无法自适应地采样出对度量网络训练最有帮助的样本。近几年元学习的发展使得通过用元学习的方式训练出一个采样器成为可能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于自适应采样的深度度量学习方法，该方法能够提升最终学得度量的性能，提高学习出的度量的泛化能力，从而实现了对深度度量学习方法性能的提高。

本发明的另一个目的在于提出一种基于自适应采样的深度度量学习系统。

为达到上述目的，本发明一方面提出了基于自适应采样的深度度量学习方法，包括以下步骤：步骤S1，通过采样器采样得到采样样本；步骤S2，根据所述采样样本更新度量网络；步骤S3，通过更新后的所述度量网络在验证集下的表现训练所述采样器；步骤S4，通过训练后的所述采样器训练所述度量网络；步骤S5，根据样本图片通过训练后的所述度量网络获取测试样本的在度量空间下的表示。

本发明实施例的基于自适应采样的深度度量学习方法，通过一个可学习的采样器，可与度量网络互相作用，能够提升最终学得度量的性能；并使用元学习的方式，将更新后的度量在验证集上的表现作为元目标函数来训练采样器，从而提高了学习出的度量的泛化能力；同时，可以整合到目前多数深度度量学习模型中的生成器模块，实现了对深度度量学习方法性能的提高。

另外，根据本发明上述实施例的基于自适应采样的深度度量学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，步骤S1包括：根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新所述采样器。

进一步地，在本发明的一个实施例中，所述度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

进一步地，在本发明的一个实施例中，所述采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

进一步地，在本发明的一个实施例中，所述度量网络的训练公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

为达到上述目的，本发明另一方面提出了一种基于自适应采样的深度度量学习系统，包括：采样模块，用于通过采样器采样得到采样样本；更新模块，用于根据所述采样样本更新度量网络；第一训练模块，用于通过更新后的所述度量网络在验证集下的表现训练所述采样器；第二训练模块，用于通过训练后的所述采样器训练所述度量网络；获取模块，用于根据样本图片通过训练后的所述度量网络获取测试样本的在度量空间下的表示。

本发明实施例的基于自适应采样的深度度量学习系统，通过一个可学习的采样器，可与度量网络互相作用，能够提升最终学得度量的性能；并使用元学习的方式，将更新后的度量在验证集上的表现作为元目标函数来训练采样器，从而提高了学习出的度量的泛化能力；同时，可以整合到目前多数深度度量学习模型中的生成器模块，实现了对深度度量学习方法性能的提高。

另外，根据本发明上述实施例的基于自适应采样的深度度量学习系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述采样模块进一步用于根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新所述采样器。

进一步地，在本发明的一个实施例中，所述度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

进一步地，在本发明的一个实施例中，所述采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

进一步地，在本发明的一个实施例中，所述度量网络的训练公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于自适应采样的深度度量学习方法流程图；

图2为根据本发明实施例的步骤S1采样过程的具体网络结构流程图；

图3为根据本发明实施例的基于自适应采样的深度度量学习系统结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于自适应采样的深度度量学习方法及系统，首先将参照附图描述根据本发明实施例提出的基于自适应采样的深度度量学习方法。

图1是本发明一个实施例的基于自适应采样的深度度量学习方法流程图。

如图1所示，该基于自适应采样的深度度量学习方法包括以下步骤：

步骤S1，通过采样器采样得到采样样本。

进一步地，在本发明的一个实施例中，步骤S1包括：根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新采样器。

需要说明的是，本发明实施例使用可学习的采样器进行自适应地采样，并使用元学习的方法训练采样器。

具体地，如图2所示，对于一个小批量，将其中的样本分为训练集与测试集。对于训练集中的样本，将其依次通过采样器得到一系列的权重，用这些权重对其对应的样本进行加权来计算该小批量的损失函数：

首先，由于不同的样本输入顺序对网络的训练有影响，采样器需要使用不同的策略来对不同次序的样本进行采样；其次，采样器需要在度量网络的训练过程中不断更新自己，通过二者之间的交互来达到更好的效果。因此，本发明使用可学习的长短期记忆模型作为采样器，其对于不同的输入顺序输出不同的结果。

步骤S2，根据采样样本更新度量网络。

进一步地，在本发明的一个实施例中，度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

也就是说，在训练集上，使用加权的损失函数对度量网络进行一步的随机梯度更新。

步骤S3，通过更新后的度量网络在验证集下的表现训练采样器。

进一步地，在本发明的一个实施例中，采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

也就是说，在度量更新之后，本发明实施例在验证集上对其进行性能评估，具体来说，使用不加权的损失函数来衡量其性能。由于更新后的度量受到采样器的影响，本发明实施例可以使用验证集上的损失函数来训练采样器：

注意到在训练集上训练与在验证集上测试这个过程模拟了通常意义下网络的训练与测试，因此最大化测试性能可以提高所学度量网络的泛化能力。

步骤S4，通过训练后的采样器训练度量网络。

进一步地，在采样器更新后，本发明实施例使用其来训练原度量网络，其中，度量网络的训练公式为：

式中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

步骤S5，根据样本图片通过训练后的度量网络获取测试样本的在度量空间下的表示。

换言之，在训练好整个网络后，测试样本的在度量空间下的表示由样本图片通过度量网络直接得到，而无需使用采样器，其只用在网络的训练过程中。

综上，本发明实施例因目前的深度度量学习大多采用了一种预先设计的固定采样方式，其不能随着训练过程而调整，因而采样方式无法最优化。故本发明实施例使用一个长短期记忆模型来作为一个可学习的采样器，并通过元学习的方式训练。首先，将个小批量中的样本分为训练集与验证集，并对于训练集中的每个样本，使用采样器对其生成一个权重。其次，使用加权后的损失函数训练度量模型，并在验证集上测试，以此来更新采样器。最后，使用更新后的采样器来训练度量模型。网络训练完成后，对于测试样本无需使用采样器，因而在实际应用中没有引入额外的计算过程。

换种方式来讲，首先对于图片使用深度网络得到其在度量空间下的向量表示；之后的采样器使用长短期记忆模型(LSTM)，对每个样本采样出一个权重，并计算加权的损失函数；使用加权的损失函数更新度量网络，并通过其在验证集上的表现来训练采样器；最后使用训练过的采样器来优化度量网络；在每个小批量中都对度量网络与采样器网络进行更新，二者在训练过程中互相作用与影响，最终学习出一个精确、泛化能力强的度量。

根据本发明实施例提出的基于自适应采样的深度度量学习方法，通过一个可学习的采样器，可与度量网络互相作用，能够提升最终学得度量的性能；并使用元学习的方式，将更新后的度量在验证集上的表现作为元目标函数来训练采样器，从而提高了学习出的度量的泛化能力；同时，可以整合到目前多数深度度量学习模型中的生成器模块，实现了对深度度量学习方法性能的提高。

其次参照附图描述根据本发明实施例提出的基于自适应采样的深度度量学习系统。

图3是本发明一个实施例的基于自适应采样的深度度量学习系统结构示意图。

如图3所示，该基于自适应采样的深度度量学习系统10包括：采样模块100、更新模块200、第一训练模块300、第二训练模块400和获取模块500。

其中，采样模块100用于通过采样器采样得到采样样本。

进一步地，在本发明的一个实施例中，采样模块100进一步用于根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新采样器。

更新模块200用于根据采样样本更新度量网络。

进一步地，在本发明的一个实施例中，度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

第一训练模块300用于通过更新后的度量网络在验证集下的表现训练采样器。

进一步地，在本发明的一个实施例中，采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

第二训练模块400用于通过训练后的采样器训练度量网络。

其中，度量网络的训练公式为：

式中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

获取模块500用于根据样本图片通过训练后的度量网络获取测试样本的在度量空间下的表示。

需要说明的是，前述对基于自适应采样的深度度量学习方法实施例的解释说明也适用于该系统，此处不再赘述。

根据本发明实施例提出的基于自适应采样的深度度量学习系统，通过一个可学习的采样器，可与度量网络互相作用，能够提升最终学得度量的性能；并使用元学习的方式，将更新后的度量在验证集上的表现作为元目标函数来训练采样器，从而提高了学习出的度量的泛化能力；同时，可以整合到目前多数深度度量学习模型中的生成器模块，实现了对深度度量学习方法性能的提高。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于自适应采样的深度度量学习方法，其特征在于，包括以下步骤：

步骤S1，通过采样器采样得到采样样本；

步骤S2，根据所述采样样本更新度量网络；

步骤S3，通过更新后的所述度量网络在验证集下的表现训练所述采样器；

步骤S4，通过训练后的所述采样器训练所述度量网络；以及

步骤S5，根据样本图片通过训练后的所述度量网络获取测试样本的在度量空间下的表示，其中，所述度量网络的训练公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

2.根据权利要求1所述的基于自适应采样的深度度量学习方法，其特征在于，所述步骤S1包括：

根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新所述采样器。

3.根据权利要求1所述的基于自适应采样的深度度量学习方法，其特征在于，所述度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

4.根据权利要求3所述的基于自适应采样的深度度量学习方法，其特征在于，所述采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

5.一种基于自适应采样的深度度量学习系统，其特征在于，包括：

采样模块，用于通过采样器采样得到采样样本；

更新模块，用于根据所述采样样本更新度量网络；

第一训练模块，用于通过更新后的所述度量网络在验证集下的表现训练所述采样器；

第二训练模块，用于通过训练后的所述采样器训练所述度量网络；以及

获取模块，用于根据样本图片通过训练后的所述度量网络获取测试样本的在度量空间下的表示，其中，所述度量网络的训练公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ^*为其参在更新后的参数，L为度量网络的训练损失函数。

6.根据权利要求5所述的基于自适应采样的深度度量学习系统，其特征在于，所述采样模块进一步用于根据样本输入顺序采用对应采样策略对不同次序的样本进行采样，并在度量网络的训练过程中更新所述采样器。

7.根据权利要求5所述的基于自适应采样的深度度量学习系统，其特征在于，所述度量网络的更新公式为：

其中，θ表示度量网络的参数，α为其训练学习率，T表示一个多元组，{T}tr表示一个小批量训练集中的所有多元组，s为采样器，φ为其参数，L为度量网络的训练损失函数。

8.根据权利要求7所述的基于自适应采样的深度度量学习系统，其特征在于，所述采样器的训练公式为：

其中，φ表示采样器的参数，β为其训练学习率，T'表示一个多元组，{T}va表示一个小批量验证集中的所有多元组，L为度量网络的训练损失函数。

Images