CN110110116A - 一种整合深度卷积网络和语义分析的商标图像检索方法 - Google Patents

Abstract

整合深度卷积神经网络和语义分析的商标图像检索方法，包括：步骤1.预处理图片；步骤2.训练深度卷积神经网络模型；步骤3.将图片输入训练好的模型进行图像匹配；步骤4.计算两个关键词组的相似度；步骤5.计算两个概念的相似度；步骤6.基于贝叶斯理论的特征融合算法进行决策；步骤7.采用欧氏距离判断两幅图像特征向量之间的距离大小；步骤8.计算商标图像之间的相似度；步骤9.构建商标图像检索树。本减少主观因素对于检索效果的影响，解决图像检索信息不准确的问题，实现了高效率的精确商标图像检索效果。

Description

一种整合深度卷积网络和语义分析的商标图像检索方法

技术领域

本发明涉及深度学习和图像检索。提出了应用深度卷积神经网络的方法进行商标图像的检索，并结合使用关键词组进行语义匹配。

背景技术

商标是商品或服务的标识，是企业信誉和可靠度的象征，并且日益成为激烈的市场竞争活动中不可缺少的武器。新商标必须具有足够的独特性以避免与已注册的商标混淆或冲突。以计算机视觉技术为基础，并利用模式识别等相关计算机辅助知识进行图像检索，为解决当前商标注册问题提供了一个很好的途径。然而，这种方法存在速度慢，受图像复杂度的影响等缺点。而且，传统方法对抽象图像以及比较复杂的图像，受人为主观因素影响严重。尤其是面对那些纯图形商标和说明不完整的商标图像来说，传统商标检索方法使用起来不仅困难而且低效，也不适合我国经济快速发展条件下的商标注册申请要求。目前我国注册商标数目的逐年增多，传统的商标检索方法自身的人工分配主观、具体分类难以界定、商标图像相似性难以描述等问题日益突出，严重制约着我国商标注册领域的发展，因此研究出一个自动且高效的商标检索技术不仅非常重要，而且迫在眉睫。本文在这样一个背景下开展了研究工作。

发明内容

本发明要克服现有技术的上述缺点，提出一种整合深度卷积神经网络和语义分析的商标图像检索方法。提出了应用深度卷积神经网络的方法进行商标图像的检索，提高了商标检索的成功率并且免去了特征工程的大量劳动力。在此基础上，进行关键词组的语义匹配，在检索的时候考虑语义上的相似度，可以在保证正确率的同时提高商标图像检索的时间，提高性能，并在一定程度上解决“语义鸿沟”的问题。

本发明的整合深度卷积神经网络和语义分析的商标图像检索方法，包括以下步骤：

第一大部分，用深度学习的方法提取商标图像特征，并计算相似度，主要包括步骤1-3。

步骤1.预处理图片。

读取用户输入的需要检测的商标图片，检测图片中的商标位置，检测商标中的图像、文字部分，对商标图像进行对齐操作，最后对商标图像大小进行归一化操作，进一步打包为lmdb的文件格式，为进行深度学习打基础；

步骤2.训练深度卷积神经网络模型。

搭建总共10层结构的深度卷积神经网络模型。其中，第一层为输入层，输入经过预处理的商标图像。与输入层相连的是总共5层的卷积层，均包含一个激励函数，也就是激励层，激励函数选择ReLU，目的是引入数据的非线性效果。之后3层为全连接层。第1、2、5个卷积层均包含一个池化层，降采样方式选用maxpooling，目的是降低数据维度。最后一层，也就输出层将输出商标图像的特征信息，即为训练好的深度卷积网络模型。

搭建完成之后，将之前准备好的商标图片相关文件导入，配置相关的prototxt文件，确定模型结构和训练参数，获得训练好的模型。将模型的最后一层提取，作为商标图像的特征库；

步骤3.将图片输入训练好的模型进行图像匹配。

将测试图片输入深度卷积神经网络，提取出目标图片的特征向量，并利用特征销量进行相似度计算；

第二大部分，提取商标图像语义特征，计算相似度，主要包括步骤4-5。

步骤4.计算两个关键词组的相似度。

假设我们已经准备完成两幅预处理完成的两张商标图片I₁，I₂，对当前两张图片进行图片分割，每个分割区域提取一个对应的关键词，由此形成一个关键词组。由传统的语义分析的方法得到散发，由此可以借用关键词度的相似度计算方法对商标图像的语义特征进行分析。

计算两个关键词组的相似度，其计算公式为：

W₁和W₂为两个词语，在本步骤中具体指图像I₁和I₂对应的关键词组。{S₁₁，S₁₂，……S_1n，}和{S₂₁，S₂₂，……S_2n，}分别是其概念集合，在本步骤中具体指两张图像的关键词组的具体表现，S_1n是词语1拥有的n个义项，在本步骤中具体指第1张图片的第n个分割区域所指向的关键词。Sim(W₁,W₂)是两个词语的各个义项(概念)的相似度最大值，在本步骤中代表为两张商标图片的语义层面的相似度；

步骤5.计算两个关键词的相似度。

由上一步骤，把问题由商标图像的相似度问题，简化到两个关键词组之间每个关键词的相似度，本步骤将论述这一问题。

计算两个关键词的相似度，其计算公式为：

S₁是词语拥有的n个义项，在本步骤中具体指图片的某个分割区域所指向的关键词。其中β_i(1≤i≤4)是可调节的参数分别表示4个特征：第一基本义原描述、其他基本义原描述、关系义原描述、关系符号描述，且满足：β₁+β₂+β₃+β₄＝1,β₁≥β₂≥β₃≥β₄；

第三大部分，是对于之前两部分得到的图像相似度进行分析和探讨，主要包括步骤6-9。

步骤6.融合商标图像的相似度。

由上两个大部分得到了两个从不同方面分析的商标图像之间的相似度。

本步骤将使用基于贝叶斯理论的特征融合算法进行决策，将两个相似度进行融合。其过程可以表示为：

x→ω_j

其中Ω＝{ω₁,…,ω_c}代表模式空间Ω包含c种模式，x＝[x₁,x₂,…,x_N]是未知样本x由N维实值特征。P(ω_k|x)表示第k类的后验概率，k∈{1,2,…,c}。根据最小错误率的贝叶斯决策理论，若将样本分为第j类，则该类就是在已知样本x条件下后验概率最大的模式类；

步骤7.采用欧氏距离判断两幅图像特征向量之间的距离大小。

定义一个商标图像的相似性度量，在得到输入商标特征向量与所属类别后，需要计算输入商标的特征向量与所属特征库中特征向量的相似度。判断图像之间是否相似主要是通过判断两幅图像特征向量之间的距离大小。其计算公式如下：

其中，m代表特征向量的维度，d代表两幅图像特征向量之间的距离，x_i代表第一张图片的特征向量中第i个值，对应的y_i为第二张图片的特征向量对应值。

步骤8.计算商标图像之间的相似度。

得到库中每张商标与输入商标的相似度值，并返回相似度高的商标。其计算公式如下：

其中，d为步骤7中得到的两张图片之间的相似度。

步骤9.构建商标图像检索树。

结合商标图像之间的相似度，将每个商标图像对应到商标图像检索树上，用以简化整个搜索过程，建立快速的检索体制。同时，对于商标图像不全，商标图像模糊以及基于用户反馈的商标图像检索结果的优化都有积极的作用。

本发明提供了一种整合深度卷积神经网络和语义分析的商标图像检索方法，涉及深度学习和图像检索。提出了应用深度卷积神经网络的方法进行商标图像的检索，提高了图像检索的成功率并且免去了特征工程的大量劳动力。在此基础上，进行关键词组的语义匹配，在检索的时候考虑语义上的相似度，可以在保证正确率的同时提高图像检索的时间，提高性能，并在一定程度上解决“语义鸿沟”的问题。

本发明的优点是：减少主观因素对于检索效果的影响，解决图像检索信息不准确的问题，实现了高效率的精确商标图像检索效果。

附图说明

图1为本发明的技术流程示意图。

图2为卷积网络模型图。

具体实施方式

为了能够更容易理解本发明的流程，结合图1的流程图进行以下的具体介绍：

第一大部分，用深度学习的方法提取商标图像特征，并计算相似度，主要包括步骤1-3。

步骤1.预处理图片。

读取用户输入的需要检测的商标图片，检测图片中的商标位置，检测商标中的图像、文字部分，对商标图像进行对齐操作，最后对商标图像大小进行归一化操作，进一步打包为lmdb的文件格式，为进行深度学习打基础；

步骤2.训练深度卷积神经网络模型。

搭建总共10层结构的深度卷积神经网络模型。其中，第一层为输入层，输入经过预处理的商标图像。与输入层相连的是总共5层的卷积层，均包含一个激励函数，也就是激励层，激励函数选择ReLU，目的是引入数据的非线性效果。之后3层为全连接层。第1、2、5个卷积层均包含一个池化层，降采样方式选用maxpooling，目的是降低数据维度。最后一层，也就输出层将输出商标图像的特征信息，即为训练好的深度卷积网络模型。

搭建完成之后，将之前准备好的商标图片相关文件导入，配置相关的prototxt文件，确定模型结构和训练参数，获得训练好的模型。将模型的最后一层提取，作为商标图像的特征库；

步骤3.将图片输入训练好的模型进行图像匹配。

将测试图片输入深度卷积神经网络，提取出目标图片的特征向量，并利用特征销量进行相似度计算；

第二大部分，提取商标图像语义特征，计算相似度，主要包括步骤4-5。

步骤4.计算两个关键词组的相似度。

假设我们已经准备完成两幅预处理完成的两张商标图片I₁，I₂，对当前两张图片进行图片分割，每个分割区域提取一个对应的关键词，由此形成一个关键词组。由传统的语义分析的方法得到散发，由此可以借用关键词度的相似度计算方法对商标图像的语义特征进行分析。

计算两个关键词组的相似度，其计算公式为：

W₁和W₂为两个词语，在本步骤中具体指图像I₁和I₂对应的关键词组。{S₁₁，S₁₂，……S_1n，}和{S₂₁，S₂₂，……S_2n，}分别是其概念集合，在本步骤中具体指两张图像的关键词组的具体表现，S_1n是词语1拥有的n个义项，在本步骤中具体指第1张图片的第n个分割区域所指向的关键词。Sim(W₁,W₂)是两个词语的各个义项(概念)的相似度最大值，在本步骤中代表为两张商标图片的语义层面的相似度；

步骤5.计算两个关键词的相似度。

由上一步骤，把问题由商标图像的相似度问题，简化到两个关键词组之间每个关键词的相似度，本步骤将论述这一问题。

计算两个关键词的相似度，其计算公式为：

S₁是词语拥有的n个义项，在本步骤中具体指图片的某个分割区域所指向的关键词。其中β_i(1≤i≤4)是可调节的参数分别表示4个特征：第一基本义原描述、其他基本义原描述、关系义原描述、关系符号描述，且满足：β₁+β₂+β₃+β₄＝1,β₁≥β₂≥β₃≥β₄；

第三大部分，是对于之前两部分得到的图像相似度进行分析和探讨主要包括步骤6-9。

步骤6.融合商标图像的相似度。

由上两个大部分得到了两个从不同方面分析的商标图像之间的相似度。本步骤将使用基于贝叶斯理论的特征融合算法进行决策，将两个相似度进行融合。其过程可以表示为：

x→ω_j

其中Ω＝{ω₁,…,ω_c}代表模式空间Ω包含c种模式，x＝[x₁,x₂,…,x_N]是未知样本x由N维实值特征。P(ω_k|x)表示第k类的后验概率，k∈{1,2,…,c}。根据最小错误率的贝叶斯决策理论，若将样本分为第j类，则该类就是在已知样本x条件下后验概率最大的模式类；

步骤7.采用欧氏距离判断两幅图像特征向量之间的距离大小。

定义一个商标图像的相似性度量，在得到输入商标特征向量与所属类别后，需要计算输入商标的特征向量与所属特征库中特征向量的相似度。判断图像之间是否相似主要是通过判断两幅图像特征向量之间的距离大小。其计算公式如下：

其中，m代表特征向量的维度，d代表两幅图像特征向量之间的距离，x_i代表第一张图片的特征向量中第i个值，对应的y_i为第二张图片的特征向量对应值。

步骤8.计算商标图像之间的相似度。

得到库中每张商标与输入商标的相似度值，并返回相似度高的商标。其计算公式如下：

其中，d为步骤7中得到的两张图片之间的相似度。

步骤9.构建商标图像检索树。

结合商标图像之间的相似度，将每个商标图像对应到商标图像检索树上，用以简化整个搜索过程，建立快速的检索体制。同时，对于商标图像不全，商标图像模糊以及基于用户反馈的商标图像检索结果的优化都有积极的作用。

本发明提供了一种整合深度卷积神经网络和语义分析的商标图像检索方法，涉及深度学习和图像检索。提出了应用深度卷积神经网络的方法进行商标图像的检索，提高了图像检索的成功率并且免去了特征工程的大量劳动力。在此基础上，进行关键词组的语义匹配，在检索的时候考虑语义上的相似度，可以在保证正确率的同时提高图像检索的时间，提高性能，并在一定程度上解决“语义鸿沟”的问题。

本发明的优点是：减少主观因素对于检索效果的影响，解决图像检索信息不准确的问题，实现了高效率的精确商标图像检索效果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.整合深度卷积神经网络和语义分析的商标图像检索方法，包括以下步骤：

步骤1.预处理图片；读取用户输入的需要检测的商标图片，检测图片中的商标位置，检测商标中的图像、文字部分，对商标图像进行对齐操作，最后对商标图像大小进行归一化操作，进一步打包为lmdb的文件格式，为进行深度学习打基础；

步骤2.训练深度卷积神经网络模型；搭建总共10层结构的深度卷积神经网络模型；其中，第一层为输入层，输入经过预处理的商标图像；与输入层相连的是总共5层的卷积层，均包含一个激励函数，也就是激励层，激励函数选择ReLU，目的是引入数据的非线性效果；之后3层为全连接层；第1、2、5个卷积层均包含一个池化层，降采样方式选用maxpooling，目的是降低数据维度；最后一层，也就输出层将输出商标图像的特征信息，即为训练好的深度卷积网络模型；

搭建完成之后，将之前准备好的商标图片相关文件导入，配置相关的prototxt文件，确定模型结构和训练参数，获得训练好的模型；将模型的最后一层提取，作为商标图像的特征库；

步骤3.将图片输入训练好的模型进行图像匹配；将测试图片输入深度卷积神经网络，提取出目标图片的特征向量，并利用特征销量进行相似度计算；

步骤4.计算两个关键词组的相似度，其计算公式为：

W₁和W₂为两个词语，{S₁₁，S₁₂，……S_1n，}和{S₂₁，S₂₂，……S_2n，}分别是其概念集合，S_1n是词语拥有的n个义项；Sim(W₁,W₂)是两个词语的各个义项(概念)的相似度最大值，即是两者的相似度；

步骤5.计算两个概念的相似度，其计算公式为：

其中β_i(1≤i≤4)是可调节的参数分别表示4个特征：第一基本义原描述、其他基本义原描述、关系义原描述、关系符号描述，且满足：β₁+β₂+β₃+β₄＝1,β₁≥β₂≥β₃≥β₄；

步骤6.基于贝叶斯理论的特征融合算法进行决策，其过程可以表示为：

其中Ω＝{ω₁,…,ω_c}代表模式空间Ω包含c种模式，x＝[x₁,x₂,…,x_N]是未知样本x由N维实值特征；P(ω_k|x)表示第k类的后验概率，k∈{1,2,…,c}；根据最小错误率的贝叶斯决策理论，若将样本分为第j类，则该类就是在已知样本x条件下后验概率最大的模式类；

步骤7.采用欧氏距离判断两幅图像特征向量之间的距离大小；定义一个商标图像的相似性度量,在得到输入商标特征向量与所属类别后，需要计算输入商标的特征向量与所属特征库中特征向量的相似度；判断图像之间是否相似主要是通过判断两幅图像特征向量之间的距离大小；其计算公式如下：

其中，m代表特征向量的维度；

步骤8.计算商标图像之间的相似度；得到库中每张商标与输入商标的相似度值，并返回相似度高的商标；其计算公式如下：

步骤9.构建商标图像检索树；结合商标图像之间的相似度，将每个商标图像对应到商标图像检索树上，用以简化整个搜索过程，建立快速的检索体制；同时，对于商标图像不全，商标图像模糊以及基于用户反馈的商标图像检索结果的优化都有积极的作用。