CN109740664A - 柔性物体分类方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种柔性物体分类方法、装置、计算机设备和存储介质。所述方法包括：获取待测物体图像；将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变，由于高级语义模型可用于描述待测物体的非标形变，因此，即使是具有非标形变的柔性物体，也能实现物体识别。

Description

柔性物体分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉领域，特别是涉及一种柔性物体分类方法、装置、计算机设备和存储介质。

背景技术

大千世界的物体种类繁多，人们通过视觉系统对形形色色的物体进行分类和辨别，统称为物体识别。通过模拟人类视觉系统的视觉信息获取和处理功能，以便计算机具有人类识别物体的能力，出现了计算机视觉等研究领域。物体识别作为计算机视觉与模式识别领域一个重要的研究方向，已广泛应用于工业、生活及国防场景等方方面面。

物体识别的任务是识别出图像中有什么物体，并计算出这个物体在图像表示的场景中的位置和方向。传统的物体识别方法有基于模型的识别方法，它首先需要建立物体模型，然后利用匹配算法从真实的图像中识别出与物体模型最相似的物体，实现物体识别，或者，直接使用像素图像本身特征对物体进行识别。

然而，对于具有非标形变的柔性物体的识别，使得传统的无论是基于模型匹配的识别方法，还是直接使用像素图像本身特征对物体进行识别的方法，均难以识别甚至算法失效。

发明内容

基于此，有必要针对上述技术问题，提供一种柔性物体分类方法、装置、计算机设备和存储介质。

一种柔性物体分类方法，所述方法包括：

获取待测物体图像；

将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

在其中一个实施例中，所述高级语义模型包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

在其中一个实施例中，所述根据预设的高级语义模型，识别所述待测物体图像的待测物体，包括：根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量；将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息；将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

在其中一个实施例中，所述根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量，包括：对所述待测物体图像进行分块，得到多个分块图像；采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像；对各相邻的所述滤波图像进行合并，获取合并图像；对所述合并图像进行抽样，得到特征板块；根据所述特征板块，获取所述待测物体图像的特征向量。

在其中一个实施例中，所述方法还包括：获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态；根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

在其中一个实施例中，所述根据所述训练样本图像和所述语义信息，建立所述高级语义模型，包括：根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型；根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

在其中一个实施例中，根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型，包括：将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数；将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值；根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

一种柔性物体分类装置，所述装置包括：

获取模块，用于获取待测物体图像；

匹配模块，用于将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

识别模块，用于若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的柔性物体识别方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的柔性物体识别方法。

上述柔性物体分类方法、装置、计算机设备和存储介质，通过获取待测物体图像和预设的多个模板图像，然后将待测物体图像和各模板图像分别进行切分，获取待测物体图像对应的多个第一切分图像和各模板图像对应的多个第二切分图像，进而根据各第一切分图像和各对应位置的第二切分图像，识别待测物体图像的待测物体，由于不同的模板图像可以用来描述待测物体的不同形变状态，进而可以选取到合适的模板图像特征，实现物体识别，即使是对于存在形变的柔性物体，也可以实现物体识别。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中柔性物体分类方法的流程示意图；

图3为一个实施例中的样本库示意图；

图4为图2实施例中S203的实现方式的流程示意图；

图5为图4实施例中S401的实现方式的流程示意图；

图6为一个实施例中HMAX模型的框架示意图；

图7为一个实施例中建立高级语义模型的流程示意图；

图8为图7实施例中S702的实现方式的流程示意图；

图9为图8实施例中S801的实现方式的流程示意图；

图10为一个实施例中RNN模型的训练示意图；

图11为一个实施例中联想记忆模型训练示意图；

图12为一个实施例中柔性物体分类装置的结构框图；

图12为另一个实施例中柔性物体分类装置的结构框图；

图13为另一个实施例中柔性物体分类装置的结构框图；

图14为另一个实施例中柔性物体分类装置的结构框图；

图15为另一个实施例中柔性物体分类装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的柔性物体分类方法可以应用于计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种柔性物体识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

在一个实施例中，如图2所示，提供了一种柔性物体分类方法，该方法的执行主体为图1所示的计算机设备，本申请涉及的是柔性物体识别的具体实现过程，包括以下步骤：

S201，获取待测物体图像。

具体地，可以通过与计算机设备连接的图像采集装置例如摄像头，获取待测物体图像，进而图像采集装置将待测物体图像发送给计算机设备，计算机设备获取待测物体图像。

S202，将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变。

其中，预设的物体识别模型可以包括多个物体的多种标准形变图像，其中，这些标准形变图像属于正常柔性物体形变图像，即柔性物体变化在可接受的范围内所采集的图像。例如，可以是柔性物体A及物体A的多种标准形变图像A1、A2、A3等，也可以是柔性物体B及物体B的多种标准形变图像B1、B2、B3等。

示例性地，可以通过获取待测物体图像和物体识别模型之间的相似度，将进而获取物体识别模型中与待测物体图像相似度最高的目标模板图像，实现待测物体图像与物体识别模型的匹配。

可选地，通过将待测物体图像与物体识别模型进行匹配，若物体识别模型中存在与所述待测物体图像匹配的目标图像模板，则表示匹配成功，则识别待测物体图像的待测物体的形变类型为标准形变，且可根据目标图像模板对应的形变数据，确定待测物体为标准形变的何种形变方式。

S203，若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

其中，高级语义模型可根据如图3所示的样本库建立起来的，样本库包括：复杂柔性物体的非标定形变图像及对应的语义信息、标准形变图像及对应的语义信息，这里非标形变是指超过了柔性物体的合理形变范围的形变。形变类型可以是标准形变、非标形变，也可以是标准形变和非标形变的具体形变方式。

具体地，物体识别模型中不存在与所述待测物体图像匹配的目标图像模板，则表示匹配失败，则可以根据高级语义模型，对待测物体图像进行测试，获取待测物体图像对应的语义特征，进而根据语义特征识别待测物体图像中待测物体的形变类型。

上述实施例中，通过获取待测物体图像，然后将所述待测物体图像与预设的物体识别模型进行匹配，若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型，由于高级语义模型可用于描述待测物体的非标形变，因此，即使是具有非标形变的柔性物体，也能实现物体识别。

在其中一个实施例中，所述高级语义模型包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

其中，特征提取HMAX模型是通过交替使用匹配和最大汇聚操作，进而构建起不变性越来越强的多层特征，用于对待测物体图像进行特征提取；RNN模型的具体表现形式为网络会对前面信息进行记忆并应用于当前输出计算中，因此可以很好的是用来处理序列数据，对已认知的物体进行视觉编码，可用于建立待测物体图像与描述语义特征的对应关系；联想记忆模型是模拟的是大脑中特征的分布式存储及联系结构，相同类型视觉特征会存储在较近距离内，可通过结合先验信息以概率融合的形式完成多特征融合，可用于建立描述语义特征与状态语义特征的对应关系，进而完成识别任务。

在上述实施例的基础上，图4提供了根据预设的高级语义模型，识别所述待测物体图像的待测物体具体实现方式流程图，如图4所示，S203“根据预设的高级语义模型，识别所述待测物体图像的待测物体”，包括：

S401，根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量。

具体地，可将待测物体图像输入到HMAX模型中，得到待测物体图像的特征向量。可选地，如图5所示，S401“根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量”，包括：

S501，对所述待测物体图像进行分块，得到多个分块图像。

示例性地，图6提供了HMAX模型的框架示意图，如图6所示，HMAX模型包括4层，分别为S1、C1、S2和C2，由下往上执行。S1层，可以利用图像切分技术，先对待测物体图像进行分块，例如，可以将待测物体图像分成25个小块，得到25个分块图像。

S502，采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像。

具体地，在S1层，可控制滤波器的尺寸从7*7像素到37*37像素中的16个尺度，分别在0、pi/4、pi/2、pi*3/4，4个方向对分块图像执行Gabor滤波操作，得到4*16＝64个响应图，即获取64个滤波图像，进行滤波操作的目的在于提取待测物体图像的多尺度边缘。可选地，在尺度上，HMAX模型可细致的将16个尺度分成8个子带，每个子带包括相邻尺度，以便在之后的C1层进行整合。

S503，对各相邻的所述滤波图像进行合并，获取合并图像。

其中，由于S1层包括64个滤波图像，共16组，C1层对相邻的两组图片进行组合，获得8个子带，每组子带包括S1层得到的2个相邻尺度及所属每个尺度中所有的4个方向的8张图片。对每一个子带中，将同方向不同尺度的图片进行最大化操作，最后每一子带得到4个方向的4张图，进而获取到合并图像。

S504，对所述合并图像进行抽样，得到特征板块。

示例性地，在S2层，从C1层输出中选择一个子带，在该子带包含的四个方向的合并图像上随机抽取不同位置、大小的区域，组合在一起即可作为特征板块。

S505，根据所述特征板块，获取所述待测物体图像的特征向量。

具体地，在C2层处理过程，在计算机视觉上相当于寻找与特征板块最接近的目标特征板块，对S2层得到的特征板块的矩阵进行每一行取最大值，最终获取特征向量。

上述实施例中，对待测物体图像进行分块，得到多个分块图像；采用不同尺度的像素、在不同方向上对各分块图像进行滤波操作，获取多个滤波图像；对各相邻的滤波图像进行合并，获取合并图像，对合并图像进行抽样，得到特征板块，进而根据特征板块，获取所述待测物体图像的特征向量，进而可以将特征向量作为高级语义模型的输入，为寻找待测物体图像的语义特征提供基础，进而确保能够实现柔性物体识别。

S402，将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息。

其中，RNN模型是经过模板库中的训练样本图像与对应的描述语义信息训练得到的，由于引入了定向循环，进而能够处理输入之间前后关联的问题，对于特征向量输入RNN模型中，可得到待测物体图像的描述语义特征。描述语义可以是对物体属性信息进行描述的语句。

示例性地，对于待测物体图像A，通过将待测物体A的特征向量输入RNN模型，则可获取待测物体图像A的待测物体的具体类型，例如，衣服，轮胎等。

S403，将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

示例性地，若上述将特征向量输入所述RNN模型中，RNN模型输出结果为“衣服A”，则表示待测物体图像的描述语义特征为“衣服A”，进而将“衣服A”作为联想记忆模型的输入，根据联影记忆模型的特点，输出描述语义对应的状态语义，即衣服A对应的形变状态为非标形变，甚至，可以获取衣服A是非标形变的何种形变方式。

上述实施例中，通过根据待测物体图像和HMAX模型，获取待测物体图像的特征向量，然后将特征向量输入所述RNN模型中，得到待测物体图像的描述语义特征，进而将所述描述语义特征输入联想记忆模型中，得到待测物体图像中待测物体的形变类型，由于描述语义特征可用于描述待测物体图像中待测物体的属性信息，且联想记忆模型可根据描述语义特征，获取待测物体图像对应的状态语义信息，因此，即使对于非标形变柔性物体，也可实现物体识别。

在柔性物体分类的过程中，需要首先建立高级语义模型，进而根据高级语义模型识别物体。在上述实施例的基础上，图7提供了一种建立高级语义模型的流程示意图，如图7所示，所述方法还包括：

S701，获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态。

其中，训练样本图像可以是非标形变柔性物体图像。可选地，通过获取原始物体图像，可以将原始物体图像的边缘沿直线中点顺时针旋转10°、15°、20°等度数以此类推；或者进行其他非标形变操作，再根据非标形变后的边缘进行组合，得到原始物体在不同非标形变下的多个非标形变图像。训练样本图像对应的语义信息是指用于描述训练样本图像的语义。

示例性地，对于训练样本图像图1、图2到图n，对应的语义信息为“A-B1-C2-E”，A2对应的语义信息为“A-B2-C3-D”，其中，A-B1-C2可以为图1对应的描述语义信息，A-B2-C3可以作为图1对应的描述语义信息，例如，“A-B1-C2”的语义可以是“黄色衣服折叠”，用于描述图1的属性信息。

S702，根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

具体地，可利用训练样本图像和对应的描述语义信息，对初始RNN模型进行训练，或者，可利用描述语义信息和对应的状态语义信息，对初始联想记忆模型进行训练，进而建立高级语义模型。

上述实施例中，通过获取训练样本图像和所述训练样本图像对应的语义信息，进而根据所述样本图像和语义信息，建立所述高级语义模型，由于高级语义模型可用于描述待测物体的非标形变，因此，即使是具有非标形变的柔性物体，也能实现物体识别。

在上述实施例的基础上，图8提供了根据所述训练样本图像和所述语义信息，建立所述高级语义模型具体实现方式流程示意图，如图8所示，S702“根据所述训练样本图像和所述语义信息，建立所述高级语义模型”，包括：

S801，根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型。

具体地，可以将原始物体图像和对应的描述语义作为初始RNN模型的输入参数，进而实时的判断预设的损失函数的值，根据损失函数的值，对初始RNN模型参数进行更新。

可选地，在上述实施例的基础上，如图9所示，S801“根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型”，包括：

S901，将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数。

其中，RNN模型的输出参数可以是原始物体图像和描述语义的对应关系。

示例性地，图10表示的是RNN模型的训练示意图，需要向RNN模型输入若干多类型复杂柔性物体图像及其语义，此处以“X–X–X-X”形式表示描述语义信息，每个X都表示一个描述语义特征，如图10所示，可以将图1、图2到图n；图1对应的描述语义信息为A-B1-C2-E、图2对应的描述语义信息为A-B2-C3-E等作为RNN模型输入参数，对初始RNN模型中训练，得到可以得到一个拟合关系，即可作为初始RNN模型的输出参数。

S902，将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值。

其中，预设的损失函数用于评估RNN模型对原始物体图像和描述语义的拟合程度。示例性，预设的损失函数可以是根据输出参数，计算原始物体图像对应的描述语义的准确率。

S903，根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

具体地，可以将预设阈值与损失函数的值做对比，若损失函数的值的值大于预设阈值，即调整初始RNN模型的各层的权重，对RNN模型继续进行训练；当损失函数的值的值小于预设阈值，则可以结束RNN模型的训练，此时RNN模型可基本实现原始物体图像与描述语义的对应。其中，预设阈值不能太大，也不能太小，避免欠拟合和过拟合问题的出现。

上述实施例中，将原始物体图像和描述语义信息，作为初始RNN模型的输入参数，得到初始RNN模型的输出参数，然后将输出参数和描述语义信息，输入预设的损失函数中，获取损失函数的值，进而根据损失函数的值，调整初始RNN模型的参数，直至损失函数的值小于预设的阈值为止，完成RNN模型的训练，进而为建立高级语义模型提供了良好的基础。

S802，根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

具体地，如图11所示，若联想记忆模型的初始状态包含9个语义特征，假设联想记忆模型初始状态它们互相间的关联权重都为1，若向联想记忆模型输入语义表达“A-B1-C2-E”，则表示加强了A与B1、B1与C2、C2与E之间的关联权重，那么将其关联权重减少0.1，这里，联想记忆模型中是以语义特征间关联权重表示这两个特征间触发可能性，语义特征间关联权重越小，两个特征间触发可能性越大；语义特征间关联权重越大，两个特征间触发可能性越小。

示例性地，如图11所示，假设输入A-B1-C2可以推出E，假设输入A-B1也可以推出E，那么也就是如果待测物体图像的语义表达是A-B1或A-B1-C2，那么可以推断其是状态E，即可以识别待测物体图像是标准形变还是非标形变，甚至根据不同状态语义的定义，可以识别待测物体图像的待测物体属于哪一种标准形变或非标形变。

上述实施例中，根据原始物体图像、描述语义和预设损失函数，对初始RNN模型进行训练，得到RNN模型；根据描述语义信息、所述状态语义信息以及语义信息之间的关联权重，对初始联想记忆模型进行训练，得到联想记忆模型，通过建立RNN模型和联想记忆模型，进而为建立高级语义模型提供了良好的基础，进而为柔性物体识别定义了合适的模型。

应该理解的是，虽然图2-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-11中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图12所示，提供了一种柔性物体分类装置，包括第一获取模块11，匹配模块12，识别模块13，其中：

第一获取模块11，用于获取待测物体图像；

匹配模块12，用于将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

识别模块13，用于若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

在其中一个实施例中，所述识别模块13包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

在其中一个实施例中，如图13所示，在图12所示的基础上，所述识别模块13包括：

第一获取单元130，用于根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量；

第二获取单元131，用于将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息；

第三获取单元132，用于将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

在其中一个实施例中，所述第一获取单元130具体用于所述待测物体图像进行分块，得到多个分块图像；采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像；对各相邻的所述滤波图像进行合并，获取合并图像；对所述合并图像进行抽样，得到特征板块；根据所述特征板块，获取所述待测物体图像的特征向量。

在其中一个实施例中，如图14所示，在图12所示的基础上，所述装置还包括第二获取模块14和建立模块15，其中：

第二获取模块14，用于获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态；

建立模块15，用于根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

在其中一个实施例中，在图14所示的基础上，所述建立模块15包括：

第四获取单元150，用于根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型；

第五获取单元151，用于根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

在其中一个实施例中，第四获取单元150具体用于将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数；将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值；根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

关于柔性物体分类装置的具体限定可以参见上文中对于柔性物体分类方法的限定，在此不再赘述。上述柔性物体分类中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待测物体图像；

将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

在一个实施例中，处理器执行计算机程序时还实现：所述高级语义模型包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量；将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息；将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述待测物体图像进行分块，得到多个分块图像；采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像；对各相邻的所述滤波图像进行合并，获取合并图像；对所述合并图像进行抽样，得到特征板块；根据所述特征板块，获取所述待测物体图像的特征向量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态；根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型；根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数；将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值；根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待测物体图像；

将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

在一个实施例中，计算机程序被处理器执行时还实现：所述高级语义模型包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量；将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息；将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述待测物体图像进行分块，得到多个分块图像；采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像；对各相邻的所述滤波图像进行合并，获取合并图像；对所述合并图像进行抽样，得到特征板块；根据所述特征板块，获取所述待测物体图像的特征向量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态；根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型；根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数；将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值；根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种柔性物体分类方法，其特征在于，所述方法包括：

获取待测物体图像；

将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

2.根据权利要求1所述的方法，其特征在于，所述高级语义模型包括：特征提取HMAX模型、循环神经网络RNN模型和联想记忆模型；所述HMAX模型用于提取所述待测物体图像的特征向量；所述RNN模型用于描述所述待测物体图像的描述语义特征；所述联想记忆模型用于描述所述待测物体图像的状态语义特征。

3.根据权利要求2所述的方法，其特征在于，所述根据预设的高级语义模型，识别所述待测物体图像的待测物体，包括：

根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量；

将所述特征向量输入所述RNN模型中，得到所述待测物体图像的描述语义特征；所述描述语义特征用于描述所述待测物体图像中待测物体的属性信息；

将所述描述语义特征输入所述联想记忆模型中，得到所述待测物体图像中待测物体的形变类型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述待测物体图像和所述HMAX模型，获取所述待测物体图像的特征向量，包括：

对所述待测物体图像进行分块，得到多个分块图像；

采用不同尺度的像素、在不同方向上对各所述分块图像进行滤波操作，获取多个滤波图像；

对各相邻的所述滤波图像进行合并，获取合并图像；

对所述合并图像进行抽样，得到特征板块；

根据所述特征板块，获取所述待测物体图像的特征向量。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取训练样本图像和所述训练样本图像对应的语义信息；所述语义信息包括描述语义信息和状态语义信息；所述描述语义信息用于表示所述训练样本图像中训练样本的属性信息；所述状态语义信息用于表示所述训练样本的形变状态；

根据所述训练样本图像和所述语义信息，建立所述高级语义模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述训练样本图像和所述语义信息，建立所述高级语义模型，包括：

根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型；

根据所述描述语义信息、所述状态语义信息以及所述语义信息之间的关联权重，对初始联想记忆模型进行训练，得到所述联想记忆模型。

7.根据权利要求6所述的方法，其特征在于，根据所述原始物体图像、所述描述语义信息和预设损失函数，对初始RNN模型进行训练，得到所述RNN模型，包括：

将所述原始物体图像和所述描述语义信息，作为所述初始RNN模型的输入参数，得到所述初始RNN模型的输出参数；

将所述输出参数和所述描述语义信息，输入预设的损失函数中，获取所述损失函数的值；

根据所述损失函数的值，调整所述初始RNN模型的参数，直至所述损失函数的值小于预设的阈值为止。

8.一种柔性物体分类装置，其特征在于，所述装置包括：

获取模块，用于获取待测物体图像；

匹配模块，用于将所述待测物体图像与预设的物体识别模型进行匹配；所述物体识别模型用于描述待测物体的标准形变；

识别模块，用于若匹配失败，则根据预设的高级语义模型，识别所述待测物体图像中待测物体的形变类型；所述高级语义模型用于描述所述待测物体的非标形变。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。