Nothing Special   »   [go: up one dir, main page]

CN111209947A - 图像识别方法、设备、存储介质及装置 - Google Patents

图像识别方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN111209947A
CN111209947A CN201911424252.6A CN201911424252A CN111209947A CN 111209947 A CN111209947 A CN 111209947A CN 201911424252 A CN201911424252 A CN 201911424252A CN 111209947 A CN111209947 A CN 111209947A
Authority
CN
China
Prior art keywords
image
target
determining
preset
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911424252.6A
Other languages
English (en)
Inventor
冯扬扬
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911424252.6A priority Critical patent/CN111209947A/zh
Publication of CN111209947A publication Critical patent/CN111209947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像识别方法、设备、存储介质及装置，该方法包括：获取待识别图像，通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率，根据所述目标类别概率确定所述待识别图像的图像类别；本发明通过预设分类网络以及预设区域定位网络对待识别图像进行截取，获得目标图像，再根据待识别图像以及目标图像对待识别图像进行图像识别，从而能够避免环境因素对图片识别的影响，提高用户体验。

Description

图像识别方法、设备、存储介质及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像识别方法、设备、存储介质及装置。
背景技术
目前，深度学习在解决诸如视觉识别、语音识别以及自然语言处理等很多方面都表现出非常好的性能，在不同类型的深度神经网络中，卷积神经网络在图像处理方面能够达到较好的效果。但是，随着移动终端以及可穿戴设备的普及，通过移动终端以及可穿戴设备获得的图像往往包含有复杂背景，导致进行图像识别时，识别率低，鲁棒性差。因此，如何在复杂背景下对图像进行识别是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像识别方法、设备、存储介质及装置，旨在解决现有技术中如何在复杂背景下对图像进行识别是亟待解决的技术问题。
为实现上述目的，本发明提供一种图像识别方法，所述图像识别方法包括以下步骤：
获取待识别图像；
通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率；
根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像；
通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率；
根据所述目标类别概率确定所述待识别图像的图像种类。
优选地，所述通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，包括：
通过预设分类网络对所述待识别图像进行特征提取，获得目标特征；
根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率。
优选地，所述通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率之后，所述图像识别方法：
根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像；
相应地，所述根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像，包括：
根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像。
优选地，所述根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像，包括：
通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像；
将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
优选地，所述通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，包括：
通过预设区域定位网络确定截取中心点以及截取边长，并根据所述截取中心点以及所述截取边长确定目标截取区域；
根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
优选地，所述通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像之后，所述图像识别方法：
根据所述第一图像类别概率通过预设损失函数模型确定所述待识别图像的初始损失函数值；
通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第二图像类别概率通过所述预设损失函数模型确定所述待调整图像的目标损失函数值；
判断所述目标损失函数值是否小于所述初始损失函数值；
若是，则执行所述将所述待调整图像对应的图像大小调整至预设大小，获得目标图像的步骤。
优选地，所述通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率，包括：
通过所述预设分类网络确定所述目标图像的第二图像类别概率；
根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
此外，为实现上述目的，本发明还提出一种图像识别设备，所述图像识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像识别程序，所述图像识别程序配置为实现如上文所述的图像识别方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像识别程序，所述图像识别程序被处理器执行时实现如上文所述的图像识别方法的步骤。
此外，为实现上述目的，本发明还提出一种图像识别装置，所述图像识别装置包括：获取模块、目标特征提取模块、预处理模块、目标类别概率确定模块和识别模块；
所述获取模块，用于获取待识别图像；
所述目标特征提取模块，用于通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率；
所述预处理模块，用于根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像；
所述目标类别概率确定模块，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率；
所述识别模块，用于根据所述目标类别概率确定所述待识别图像的图像类别。
本发明中，获取待识别图像，通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率，根据所述目标类别概率确定所述待识别图像的图像类别；本发明通过预设分类网络以及预设区域定位网络对待识别图像进行截取，获得目标图像，再根据待识别图像的第一图像类别概率以及目标图像的第二图像类别概率确定待识别图像的图像类别，从而能够避免环境因素对图片识别的影响，提高用户体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的图像识别设备的结构示意图；
图2为本发明图像识别方法第一实施例的流程示意图；
图3为本发明图像识别方法第二实施例的流程示意图；
图4为本发明图像识别方法第三实施例的流程示意图；
图5为本发明图像识别装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像识别设备结构示意图。
如图1所示，该图像识别设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像识别程序。
在图1所示的图像识别设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述图像识别设备通过处理器1001调用存储器1005中存储的图像识别程序，并执行本发明实施例提供的图像识别方法。
基于上述硬件结构，提出本发明图像识别方法的实施例。
参照图2，图2为本发明图像识别方法第一实施例的流程示意图，提出本发明图像识别方法第一实施例。
在第一实施例中，所述图像识别方法包括以下步骤：
步骤S10：获取待识别图像。
应理解的是，本实施例的执行主体是所述图像识别设备，其中，所述图像识别设备可为个人电脑或服务器等具有运算功能以及信息接收功能的电子设备。
步骤S20：通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率。
可理解的是，图像识别设备通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率可以是通过预设分类网络对所述待识别图像进行特征提取，获得目标特征，再根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率。
需要说明的是，预设分类网络可以是由卷积层、池化层以及激活层组成的网络。预设概率分布模型可以如下式所示：
p(X)＝f(Wc*X)
其中，X为待识别图像，Wc为预设分类网络的参数，*为卷积计算，f(·)为特征层到全连接层的函数，p(X)为图片类别概率。
步骤S30：根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像。
可理解的是，图像识别设备根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理可以是通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
需要说明的是，预设区域定位网络可以是由一个1×1的卷积层以及两个全连接层组成。
步骤S40：通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率。
应理解的是，图像识别设备通过所述预设分类网络确定所述目标图像的第二图像类别概率可以是通过预设分类网络对所述目标图像进行特征提取，获得目标图像的特征，再根据目标图像的特征通过预设概率分布模型确定所述待识别图像的第二图像类别概率。图像识别设备根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率可以是根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
步骤S50：根据所述目标类别概率确定所述待识别图像的图像类别。
应理解的是，图像识别设备根据所述目标类别概率确定所述待识别图像的图像类别可以是将目标类别概率最大的图像类别作为待识别图像的图像类别。
在第一实施例中，获取待识别图像，通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率，根据所述目标类别概率确定所述待识别图像的图像类别；本实施例通过预设分类网络以及预设区域定位网络对待识别图像进行截取，获得目标图像，再根据待识别图像的第一图像类别概率以及目标图像的第二图像类别概率确定待识别图像的图像类别，从而能够避免环境因素对图片识别的影响，提高用户体验。
参照图3，图3为本发明图像识别方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明图像识别方法的第二实施例。
在第二实施例中，所述步骤S20，包括：
步骤S201：通过预设分类网络对所述待识别图像进行特征提取，获得目标特征。
需要说明的是，预设分类网络可以是由卷积层、池化层以及激活层组成的网络。
步骤S202：根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率。
可理解的是，预设概率分布模型可以如下式所示：
p(X)＝f(Wc*X)
其中，X为待识别图像，Wc为预设分类网络的参数，*为卷积计算，f(·)为特征层到全连接层的函数，p(X)为图片类别概率。
在第二实施例中，所述步骤S20之后，还包括：
步骤S20'：根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像。
应理解的是，待识别图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征可以将简单的目标区分开来，而复杂的目标需要利用深层的特征来将其区分，为了实现对不同大小的目标进行识别，图像识别设备可以是根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像。
在具体实现中，例如，图像识别设备可以是对分类网络最后一层卷积层特征经过采样得到特征N×N×M1，对分类网络的倒数第二层卷积层特征经过采样得到特征N×N×M2，将特征N×N×M1与特征N×N×M2进行拼接，得到融合后的特征N×N×M，其中，M1+M2＝M，根据融合后的特征N×N×M可以获得待处理图像。
相应地，所述步骤S30，包括：
步骤S30'：根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像。
可理解的是，图像识别设备根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理可以是通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
需要说明的是，预设区域定位网络可以是由一个1×1的卷积层以及两个全连接层组成。
在第二实施例中，所述步骤S40，包括：
步骤S401：通过所述预设分类网络确定所述目标图像的第二图像类别概率。
可理解的是，图像识别设备通过所述预设分类网络确定所述目标图像的第二图像类别概率可以是通过预设分类网络对目标图像进行特征提取，获得目标图像的特征，再根据目标图像的特征通过预设概率分布模型确定所述目标图像的第二图像类别概率。
步骤S402：根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
需要说明的是，预设权重算法如下式所示：
Figure BDA0002350818270000091
其中，
Figure BDA0002350818270000092
为目标类别概率，xn表示第n图像类别概率，wn表示第n图像类别概率对应的权重。
在第二实施例中，获取待识别图像，通过预设分类网络对所述待识别图像进行特征提取，获得目标特征，根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率，根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像，根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像，通过所述预设分类网络确定所述目标图像的第二图像类别概率，根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率；本实施例通过在预设分类网络以及预设区域定位网络的基础上，加入预设多尺度特征融合模型对待识别图像进行特征拼接，从而能够提高小目标的定位检测，消除背景对手势识别的干扰。
参照图4，图4为本发明图像识别方法第三实施例的流程示意图，基于上述图3所示的第二实施例，提出本发明图像识别方法的第三实施例。
在第三实施例中，所述步骤S30'，包括：
步骤S301'：通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
应理解的是，图片识别设备通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像可以是通过预设区域定位网络确定截取中心点以及截取边长，并根据所述截取中心点以及所述截取边长确定目标截取区域，根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
步骤S302'：将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
需要说明的是，预设大小可以是根据实际需要设置的图像大小，也可以是根据试验获得的最佳图像大小。
进一步地，所述步骤S301'，包括：
通过预设区域定位网络确定截取中心点以及截取边长，并根据所述截取中心点以及所述截取边长确定目标截取区域；
矩阵根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
应理解的是，预设区域定位网络如下式所示：
[x,y,l]＝g(Wc*Xc)
其中，g(·)函数为预设区域定位网络，Xc为不同尺度特征拼接后的特征，Wc为预设分类网络的参数为了得到原图目标区域。
假设检测出来的区域是正方形，则待调整图像左上角点和右下角点分别为(xleft,yleft)和(xright,yright)坐标点如下式所示：
Figure BDA0002350818270000101
Figure BDA0002350818270000102
然后，根据坐标点，构建一个类似于tanh函数的掩膜M与输入图像X作元素级别的相乘来得到待调整图像Xcrop，如下式所示：
Xcrop＝X.*M(x,y,l)
其中，掩膜M如下式所示：
M(·)＝[σ(x-xleft)-σ(x-xright)]·[σ(y-yleft)-σ(y-yright)]
这里的σ函数对应足够大的k值。
设函数
Figure BDA0002350818270000103
如图3所示，当k足够大的时候，σ(x)≈1，当x≥0；σ(x)≈0当x<0。这时σ(x)函数近似于一个阶梯函数。如果假设x0<x1，那么σ(x-x0)-σ(x-x1)就是一阶梯函数，σ(x-x0)-σ(x-x1)≈0，当x<x0或者x>x1；σ(x-x0)-σ(x-x1)≈1，最后，crop出来的图片Xcrop就是待调整图像。
进一步地，步骤S301'之后，还包括：
步骤S3011'：根据所述第一图像类别概率通过预设损失函数模型确定所述待识别图像的初始损失函数值。
需要说明的是，预设损失函数可以是如下式所示：
Figure BDA0002350818270000111
其中，Y(s)表示预测类别的概率，Y表示真实类别，排列损失函数
Figure BDA0002350818270000112
为预设s个尺寸下的所得到的类别t的预测概率。
步骤S3012'：通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第二图像类别概率通过所述预设损失函数模型确定所述待调整图像的目标损失函数值。
应理解的是，图像识别设备可以是通过预设分类网络对目标图像进行特征提取，获得目标图像的特征，再根据目标图像的特征通过预设概率分布模型确定所述目标图像的第二图像类别概率。
步骤S3013'：判断所述目标损失函数值是否小于所述初始损失函数值。
应理解的是，判断所述目标损失函数是否小于所述初始损失函数值可以是将目标损失函数值直接与初始损失函数值进行比较。
步骤S3014'：若是，则执行所述将所述待调整图像对应的图像大小调整至预设大小，获得目标图像的步骤。
在第三实施例中，获取待识别图像，通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像，通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，根据所述第一图像类别概率通过预设损失函数模型确定所述待识别图像的初始损失函数值，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第二图像类别概率通过所述预设损失函数模型确定所述待调整图像的目标损失函数值，判断所述目标损失函数值是否小于所述初始损失函数值，若是，则执行所述将所述待调整图像对应的图像大小调整至预设大小，获得目标图像的步骤，将所述待调整图像对应的图像大小调整至预设大小，获得目标图像；本实施例通过预设损失函数模型确定目标函数的目标损失函数值，并根据所述目标损失函数值判断局部预测的概率值是否大于整体的概率值，从而能够对识别过程进行递归学习，提高识别准确度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像识别程序，所述图像识别程序被处理器执行时实现如上文所述的图像识别方法的步骤。
此外，参照图5，本发明实施例还提出一种图像识别装置，所述图像识别装置包括：获取模块10、目标特征提取模块20、预处理模块30、目标类别概率确定模块40和识别模块50；
所述获取模块10，用于获取待识别图像。
应理解的是，本实施例的执行主体是所述图像识别设备，其中，所述图像识别设备可为个人电脑或服务器等具有运算功能以及信息接收功能的电子设备。
所述目标特征提取模块20，用于通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率。
可理解的是，图像识别设备通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率可以是通过预设分类网络对所述待识别图像进行特征提取，获得目标特征，再根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率。
需要说明的是，预设分类网络可以是由卷积层、池化层以及激活层组成的网络。预设概率分布模型可以如下式所示：
p(X)＝f(Wc*X)
其中，X为待识别图像，Wc为预设分类网络的参数，*为卷积计算，f(·)为特征层到全连接层的函数，p(X)为图片类别概率。
所述预处理模块30，用于根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像。
可理解的是，图像识别设备根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理可以是通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
需要说明的是，预设区域定位网络可以是由一个1×1的卷积层以及两个全连接层组成。
所述目标类别概率确定模块40，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率。
应理解的是，图像识别设备通过所述预设分类网络确定所述目标图像的第二图像类别概率可以是通过预设分类网络对所述目标图像进行特征提取，获得目标图像的特征，再根据目标图像的特征通过预设概率分布模型确定所述待识别图像的第二图像类别概率。图像识别设备根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率可以是根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
所述识别模块50，用于根据所述目标类别概率确定所述待识别图像的图像类别。
应理解的是，图像识别设备根据所述目标类别概率确定所述待识别图像的图像类别可以是将目标类别概率最大的图像类别作为待识别图像的图像类别。
在本实施例中，获取待识别图像，通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率，根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率，根据所述目标类别概率确定所述待识别图像的图像类别；本实施例通过预设分类网络以及预设区域定位网络对待识别图像进行截取，获得目标图像，再根据待识别图像的第一图像类别概率以及目标图像的第二图像类别概率确定待识别图像的图像类别，从而能够避免环境因素对图片识别的影响，提高用户体验。
在一实施例中，所述目标特征提取模块，还用于通过预设分类网络对所述待识别图像进行特征提取，获得目标特征，根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率；
在一实施例中，所述图像识别装置还包括：拼接模块；
所述拼接模块，用于根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像；
在一实施例中，所述预处理模块，还用于通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像，将所述待调整图像对应的图像大小调整至预设大小，获得目标图像；
在一实施例中，所述预处理模块，还用于通过预设区域定位网络确定截取中心点以及截取边长，并根据所述截取中心点以及所述截取边长确定目标截取区域，根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
在一实施例中，所述图像识别装置还包括：判断模块；
所述判断模块，用于根据所述第一图像类别概率通过预设损失函数模型确定所述待识别图像的初始损失函数值，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第二图像类别概率通过所述预设损失函数模型确定所述待调整图像的目标损失函数值，判断所述目标损失函数值是否小于所述初始损失函数值，若是，则执行所述将所述待调整图像对应的图像大小调整至预设大小，获得目标图像的步骤；
在一实施例中，所述目标类别概率确定模块，还用于通过所述预设分类网络确定所述目标图像的第二图像类别概率，根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
本发明所述图像识别装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像识别方法，其特征在于，所述图像识别方法包括以下步骤：
获取待识别图像；
通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率；
根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像；
通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率；
根据所述目标类别概率确定所述待识别图像的图像类别。
2.如权利要求1所述的图像识别方法，其特征在于，所述通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率的步骤，具体包括：
通过预设分类网络对所述待识别图像进行特征提取，获得目标特征；
根据所述目标特征通过预设概率分布模型确定所述待识别图像的第一图像类别概率。
3.如权利要求1所述的图像识别方法，其特征在于，所述通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率的步骤之后，所述图像识别方法还包括：
根据所述目标特征通过预设多尺度特征融合模型对所述待识别图像进行特征拼接，获得待处理图像；
相应地，所述根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像的步骤，具体包括：
根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像。
4.如权利要求3所述的图像识别方法，其特征在于，所述根据所述目标特征通过预设区域定位网络对所述待处理图像进行预处理，获得目标图像的步骤，具体包括：
通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像；
将所述待调整图像对应的图像大小调整至预设大小，获得目标图像。
5.如权利要求4所述的图像识别方法，其特征在于，所述通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像的步骤，具体包括：
通过预设区域定位网络确定截取中心点以及截取边长，并根据所述截取中心点以及所述截取边长确定目标截取区域；
根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像。
6.如权利要求4所述的图像识别方法，其特征在于，所述通过预设区域定位网络确定目标截取区域，并根据所述目标截取区域对所述待处理图像进行图像截取，获取待调整图像的步骤之后，所述图像识别方法还包括：
根据所述第一图像类别概率通过预设损失函数模型确定所述待识别图像的初始损失函数值；
通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第二图像类别概率通过所述预设损失函数模型确定所述待调整图像的目标损失函数值；
判断所述目标损失函数值是否小于所述初始损失函数值；
若是，则执行所述将所述待调整图像对应的图像大小调整至预设大小，获得目标图像的步骤。
7.如权利要求1至6中任一项所述的图像识别方法，其特征在于，所述通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率的步骤，具体包括：
通过所述预设分类网络确定所述目标图像的第二图像类别概率；
根据所述第一图像类别概率以及所述第二图像类别概率通过预设权重算法确定目标类别概率。
8.一种图像识别设备，其特征在于，所述图像识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像识别程序，所述图像识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像识别方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有图像识别程序，所述图像识别程序被处理器执行时实现如权利要求1至7中任一项所述的图像识别方法的步骤。
10.一种图像识别装置，其特征在于，所述图像识别装置包括：获取模块、目标特征提取模块、预处理模块、目标类别概率确定模块和识别模块；
所述获取模块，用于获取待识别图像；
所述目标特征提取模块，用于通过预设分类网络确定所述待识别图像的目标特征以及第一图像类别概率；
所述预处理模块，用于根据所述目标特征通过预设区域定位网络对所述待识别图像进行预处理，获得目标图像；
所述目标类别概率确定模块，通过所述预设分类网络确定所述目标图像的第二图像类别概率，并根据所述第一图像类别概率以及所述第二图像类别概率确定目标类别概率；
所述识别模块，用于根据所述目标类别概率确定所述待识别图像的图像类别。
CN201911424252.6A 2019-12-31 2019-12-31 图像识别方法、设备、存储介质及装置 Pending CN111209947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911424252.6A CN111209947A (zh) 2019-12-31 2019-12-31 图像识别方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911424252.6A CN111209947A (zh) 2019-12-31 2019-12-31 图像识别方法、设备、存储介质及装置

Publications (1)

Publication Number Publication Date
CN111209947A true CN111209947A (zh) 2020-05-29

Family

ID=70785659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911424252.6A Pending CN111209947A (zh) 2019-12-31 2019-12-31 图像识别方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN111209947A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797932A (zh) * 2020-07-10 2020-10-20 北京字节跳动网络技术有限公司 图像分类方法、装置、设备和计算机可读介质
CN112530086A (zh) * 2020-12-16 2021-03-19 合肥美的智能科技有限公司 自动售货柜及其商品sku计算方法、系统以及远程服务器
CN117372787A (zh) * 2023-12-05 2024-01-09 同方赛威讯信息技术有限公司 一种图像多类别识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109919251A (zh) * 2019-03-21 2019-06-21 腾讯科技（深圳）有限公司 一种基于图像的目标检测方法、模型训练的方法及装置
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665457A (zh) * 2018-05-16 2018-10-16 腾讯科技（深圳）有限公司 图像识别方法、装置、存储介质及计算机设备
CN109919251A (zh) * 2019-03-21 2019-06-21 腾讯科技（深圳）有限公司 一种基于图像的目标检测方法、模型训练的方法及装置
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLONG FU等: "Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797932A (zh) * 2020-07-10 2020-10-20 北京字节跳动网络技术有限公司 图像分类方法、装置、设备和计算机可读介质
CN111797932B (zh) * 2020-07-10 2023-11-14 抖音视界有限公司 图像分类方法、装置、设备和计算机可读介质
CN112530086A (zh) * 2020-12-16 2021-03-19 合肥美的智能科技有限公司 自动售货柜及其商品sku计算方法、系统以及远程服务器
CN117372787A (zh) * 2023-12-05 2024-01-09 同方赛威讯信息技术有限公司 一种图像多类别识别方法及装置
CN117372787B (zh) * 2023-12-05 2024-02-20 同方赛威讯信息技术有限公司 一种图像多类别识别方法及装置

Similar Documents

Publication Publication Date Title
CN109684980B (zh) 自动阅卷方法及装置
CN111027504A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN108009543A (zh) 一种车牌识别方法及装置
CN107480666B (zh) 图像捕获设备及其扫描目标提取方法、装置、存储介质
CN111209947A (zh) 图像识别方法、设备、存储介质及装置
CN104902143B (zh) 一种基于分辨率的图像去噪方法及装置
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN111444885B (zh) 图像中构件的识别方法、设备及计算机可读存储介质
CN113486785A (zh) 基于深度学习的视频换脸方法、装置、设备及存储介质
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
CN111079730A (zh) 一种在界面图中确定样图所在区域的方法和电子设备
CN112381092A (zh) 跟踪方法、装置及计算机可读存储介质
CN111523490A (zh) 口罩佩戴检测方法、装置、设备和可读存储介质
CN108038491A (zh) 一种图像分类方法及装置
CN113221897A (zh) 图像矫正方法、图像文本识别方法、身份验证方法及装置
CN114639058A (zh) 火灾烟雾图像检测方法、装置、设备及存储介质
CN110795980A (zh) 基于网络视频的逃犯识别方法、设备、存储介质及装置
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN110189350B (zh) 一种瞳孔边缘的确定方法、装置及存储介质
CN110222576B (zh) 拳击动作识别方法、装置和电子设备
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
JPWO2021049234A5 (zh)
WO2021051580A1 (zh) 基于分组批量的图片检测方法、装置及存储介质
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201014

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: GOERTEK Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221121

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529