CN115841571B - 物品陈列图像方向识别方法、装置、电子设备及存储介质 - Google Patents
物品陈列图像方向识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115841571B CN115841571B CN202310154186.5A CN202310154186A CN115841571B CN 115841571 B CN115841571 B CN 115841571B CN 202310154186 A CN202310154186 A CN 202310154186A CN 115841571 B CN115841571 B CN 115841571B
- Authority
- CN
- China
- Prior art keywords
- identification
- axis direction
- frame
- overlapping
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供一种物品陈列图像方向识别方法、装置、电子设备及存储介质，涉及图像处理技术领域，用于改善物品陈列图像方法的识别准确率，其中物品陈列图像方向识别方法包括：获取物品陈列图像中物品的识别框；对识别框进行扩大处理，获取识别扩大框；根据预设扩大框重叠判定规则，获取识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；基于识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断物品陈列图像的方向为非正立还是正立。采用扩大框重叠数量来判断物品陈列图像的方向，无需考虑训练集分布，泛化能力较强。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种物品陈列图像方向识别方法、装置、电子设备及存储介质。
背景技术
现有技术中对物品陈列图像方向的识别大都采用深度学习方法来识别图像旋转角度，该方法的泛化性能弱，仅能针对训练集内的样本进行识别，对训练集分布之外样本的识别准确率较低。
发明内容
本申请实施例的目的在于提供一种物品陈列图像方向识别方法、装置、电子设备及存储介质，用以改善物品陈列图像方法的识别准确率。
第一方面，本申请实施例提供一种物品陈列图像方向识别方法，包括：获取物品陈列图像中物品的识别框；对所述识别框进行扩大处理，获取识别扩大框；根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立。
在上述方案的实现过程中，采用扩大框重叠数量来判断物品陈列图像的方向，相较于现有技术中采用深度学习来识别图像方向的方法，本申请实施例所提出的上述方案可以仅在CPU内完成运算，不占用GPU资源；另外，由于仅需要判断横轴方向与纵轴方向上扩大框重叠数量的大小即可实现对物品陈列图像方向的识别，运算速度快，效率高；同时，相较于现有技术中采用深度学习的方式，本申请实施例所提出的上述方案无需考虑训练集分布，泛化能力较强，对图像的识别准确率也较高。
在第一方面的一种实现方式中，所述获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：获取所述识别扩大框之间的重叠面积；若所述识别扩大框之间的重叠面积大于0，则获取所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标；基于所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量。
在上述方案的实现过程中，通过计算能够表征识别扩大框长度重叠比例的长度重叠指标来统计识别扩大框沿横轴方向以及纵轴方向上的扩大框数量，可以有效筛选出横轴方向上或者纵轴方向上的识别扩大框长度重叠有一定比例的识别扩大框，并对其进行计数，获得扩大框重叠数量，通过扩大框重叠数量即可获得图像方向，计算过程可以在CPU中实现，无需占用GPU资源，处理速度快，提高了上述物品陈列图像方向识别方法的识别效率。
在第一方面的一种实现方式中，所述基于所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在横轴方向上的长度重叠指标满足横轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿横轴方向上的扩大框重叠数量；统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在纵轴方向上的长度重叠指标满足纵轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿纵轴方向上的扩大框重叠数量。
在上述方案的实现过程中，通过预先设置的长度重叠指标阈值，即可获得扩大框重叠数量，进而通过扩大框重叠数量即可获得图像方向，提高了上述物品陈列图像方向识别方法的识别效率。
在第一方面的一种实现方式中，所述获取所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，包括：获取所述识别扩大框在横轴方向上的相交长度以及合并长度，将所述识别扩大框在横轴方向上的相交长度与合并长度之比确定为所述识别扩大框在横轴方向上的长度重叠指标；获取所述识别扩大框在纵轴方向上的相交长度以及合并长度，将所述识别扩大框在纵轴方向上的相交长度与合并长度之比确定为所述识别扩大框在纵轴方向上的长度重叠指标。
在上述方案的实现过程中，采用相交长度与合并长度的比值来作为长度重叠指标，可以更好的表征两个识别扩大框之间沿横轴方向以及沿纵轴方向的长度重叠程度，然后通过长度重叠指标阈值即可获取扩大框重叠数量，进而通过扩大框重叠数量即可获得图像方向，在提高上述物品陈列图像方向识别方法的识别效率的同时，还提高了上述物品陈列图像方向识别方法的识别准确率。
在第一方面的一种实现方式中，所述基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立，包括：若识别扩大框沿横轴方向上的扩大框重叠数量大于沿纵轴方向上的扩大框重叠数量，则图像方向为非正立，否则图像方向为正立。
在上述方案的实现过程中，采用识别扩大框沿横轴方向上的扩大框重叠数量与识别扩大框沿纵轴方向上的扩大框重叠数量即可识别图像的方向为正立还是非正立，提高了上述物品陈列图像方向识别方法的识别效率；并且，由于运算过程简单，可以直接部署在CPU中进行运算，无需占用GPU资源，运算速度较快；同时，相较于现有技术中采用深度学习方法识别图像方向的方式，上述物品陈列图像方向识别方法无需考虑训练集的分布，其泛化能力较强。
在第一方面的一种实现方式中，所述获取物品陈列图像中物品的识别框，包括：获取识别框的角点坐标；所述对所述识别框进行扩大处理，获取识别扩大框，包括：基于所述识别框的角点坐标，对所述识别框按照预设扩大尺度进行扩大处理，获得识别扩大框。
在上述方案的实现过程中，采用识别框的角点坐标即可实现对识别框的扩大处理，在CPU中即可实现，无需占用GPU资源，资源占用率低，处理速度快，提高了上述物品陈列图像方向识别方法的识别效率。
在第一方面的一种实现方式中，所述识别框的角点坐标为归一化坐标。
在上述方案的实现过程中，角点坐标采用归一化的坐标表示，提高了后续步骤对扩大框进行处理时的处理速度，进一步提高了上述物品陈列图像方向识别方法的识别效率。
第二方面，本申请实施例提供一种物品陈列图像方向识别装置，包括：
物品识别框获取模块，用于获取物品陈列图像中物品的识别框；
扩大处理模块，用于对所述识别框进行扩大处理，获取识别扩大框；
扩大框重叠数量获取模块，用于根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；
图像方向判定模块，用于基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立。
第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
第四方面，本申请实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的物品陈列图像方向识别方法的流程示意图；
图2为本申请实施例提供的正立图像与非正立图像的示意图；
其中，附图2中a和附图2中b标识图像正立的两种情况，附图2中c和附图2中d标识图像非正立的两种情况；
图3为本申请实施例提供的物品陈列图像方向识别装置的结构示意图；
图4为本申请实例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参见图1，本实施例提供一种物品陈列图像方向识别方法，包括：
步骤S110：获取物品陈列图像中物品的识别框；
步骤S120：对识别框进行扩大处理，获取识别扩大框；
步骤S130：根据预设扩大框重叠判定规则，获取识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；
步骤S140：基于识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断物品陈列图像的方向为非正立还是正立。
在上述方案的实现过程中，采用扩大框重叠数量来判断物品陈列图像的方向，相较于现有技术中采用深度学习来识别图像方向的方法，本申请实施例所提出的上述方案可以仅在CPU内完成运算，不占用GPU资源；另外，由于仅需要判断横轴方向与纵轴方向上扩大框重叠数量的大小即可实现对物品陈列图像方向的识别，运算速度快，效率高；同时，相较于现有技术中采用深度学习的方式，本申请实施例所提出的上述方案无需考虑训练集分布，泛化能力较强。
下面分别对上述步骤S110~步骤S140进行详细描述：
首先，上述步骤S140所出别出的图像方向包括正立和非正立，关于图像正立和非正立，请参见图2，图2以一个带把手的水杯为例对图像正立和非正立进行示意，其中附图2中a和附图2中b为图像正立的两种情况，而附图2中c和附图2中d为图像非正立的两种情况，需要指出，关于图像方向，若与附图2中a至附图2中d中图像方向的角度偏差在一定阈值以内的均可以将该图像判定为附图2中a至附图2中d中所示出的图像方向，并非是需要与附图2中a至附图2中d中所示出的图像方向无任何偏差角度才能将图像判定为附图2中a至附图2中d中所示出的图像方向。
其次，对步骤S110进行详细描述：在步骤S110中所获取的识别框可以为执行上述物品陈列图像方向识别方法的电子设备通过部署在该电子设备上的物品识别方法对物品陈列图像中的物品进行识别所产生的识别框；也可以为由部署在其他电子设备上的物品识别方法对物品陈列图像中的物品进行识别，并将识别框信息发送给执行物品陈列图像方向识别方法的电子设备。需要指出，物品识别方法可以采用例如YOLO算法等目标物体识别算法，能够获取物品识别框即可，具体内容请参见现有技术。另外，需要指出的是，物品的识别框可以为尽可能接近物品边界的识别框。
作为上述物品陈列图像方向识别方法的一种可选实施方式，步骤S110包括：获取识别框的角点坐标；此时，步骤S120包括：基于识别框的角点坐标，对识别框按照预设扩大尺度进行扩大处理，获得识别扩大框。该实施方式例如：设识别框为A、B、C……，获取识别框的左上角点坐标
，获取识别框的右下角点坐标
，基于识别框的左上角点坐标和右下角点坐标，可以将识别框表示为/>
。基于上述角点坐标，对所有的识别框按照预设扩大尺度进行扩大处理，获得识别扩大框。
需要指出步骤S110所获取的角点坐标可以为左上角点坐标和右下角点坐标，也可以为左下角点坐标和右上角点坐标，也可以为左上角点、右上角点、左下角点和右下角点四个角点坐标。
在上述方案的实现过程中，采用识别框的角点坐标即可实现对识别框的扩大处理，在CPU中即可实现，无需占用GPU资源，资源占用率低，处理速度快，提高了上述物品陈列图像方向识别方法的识别效率。
作为上述物品陈列图像方向识别方法的一种可选实施方式，步骤S110中所获取的识别框的角点坐标为归一化坐标。该实施方式例如：所获取识别框的左上角点坐标
，以及识别框的右下角点坐标
的值域均为/>
。此时，步骤S120中对识别框进行扩大处理的方式为：
其中，EPS为扩大尺度；识别扩大框表示为
。
可选的，在商品陈列场景下，扩大尺度EPS的阈值范围可以为
，对识别框进行扩大的目的是为了让相邻的识别框存在重叠，扩大尺度EPS的值可以根据物品陈列图像中物品的密集程度来设置，例如：预先采用实验的方式确定不同密集程度下的优选EPS值，实验方法可以为：针对某密集程度下的物品陈列图像，采用若干张物品陈列图像，并给定不同的EPS值，采用上述物品陈列图像方向识别方法对若干张物品陈列图像进行方向识别，并计算不同EPS值下方向识别的准确率，根据准确率确定当前密集程度下优选的EPS值。
在上述方案的实现过程中，步骤S110所获取的角点采用归一化的坐标表示，提高了后续步骤对扩大框进行处理时的处理速度，进一步提高了上述物品陈列图像方向识别方法的识别效率。
下面对步骤S130进行详细描述：
作为上述物品陈列图像方向识别方法的一种可选实施方式，步骤S130中获取识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量包括：获取识别扩大框之间的重叠面积；若识别扩大框之间的重叠面积大于0，则获取识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标；基于识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量。该实施方式例如：计算物品陈列图像中所有识别扩大框之间的重叠面积，例如针对两个识别扩大框
，其重叠面积按照如下方式计算：
计算横轴方向，即x轴方向上的相交长度：
计算纵轴方向，即y轴方向上的相交长度：
计算重叠面积：
。
若两个识别扩大框的重叠面积大于0，则获取识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标。长度重叠指标用于表征两个识别扩大框在横轴方向上或在纵轴方向上的长度重叠比例，其可以采用重叠长度在识别扩大框A中所占比例与在识别扩大框B中所占比例的平均值。采用预设统计规则，基于识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量。
在上述方案的实现过程中，通过计算能够表征识别扩大框长度重叠比例的长度重叠指标来统计识别扩大框沿横轴方向以及纵轴方向上的扩大框数量，可以有效筛选出横轴方向上或者纵轴方向上的识别扩大框长度重叠有一定比例的识别扩大框，并对其进行计数，获得扩大框重叠数量，通过扩大框重叠数量即可获得图像方向，计算过程可以在CPU中实现，无需占用GPU资源，处理速度快，提高了上述物品陈列图像方向识别方法的识别效率。
作为上述物品陈列图像方向识别方法的一种可选实施方式，步骤S130基于识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：统计识别扩大框之间的重叠面积大于0，且识别扩大框在横轴方向上的长度重叠指标满足横轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿横轴方向上的扩大框重叠数量；统计识别扩大框之间的重叠面积大于0，且所述识别扩大框在纵轴方向上的长度重叠指标满足纵轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿纵轴方向上的扩大框重叠数量。
在上述方案的实现过程中，通过预先设置的长度重叠指标阈值，即可获得扩大框重叠数量，进而通过扩大框重叠数量即可获得图像方向，提高了上述物品陈列图像方向识别方法的识别效率。
作为上述物品陈列图像方向识别方法的一种可选实施方式，步骤S130中获取识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，包括：获取识别扩大框在横轴方向上的相交长度以及合并长度，将识别扩大框在横轴方向上的相交长度与合并长度之比确定为识别扩大框在横轴方向上的长度重叠指标；获取识别扩大框在纵轴方向上的相交长度以及合并长度，将识别扩大框在纵轴方向上的相交长度与合并长度之比确定为识别扩大框在纵轴方向上的长度重叠指标。该实施方式例如：以识别扩大框
为例：
计算横轴方向，即x轴方向上的相交长度：
计算横轴方向，即x轴方向上的合并长度：
计算横轴方向，即x轴方向上的长度重叠指标：
计算纵轴方向，即y轴方向上的相交长度：
计算纵轴方向，即y轴方向上的合并长度：
计算纵轴方向，即y轴方向上的长度重叠指标：
统计x轴方向上扩大框重叠数量：针对每一对框，如果其重叠面积大于0且iol x大于预设横轴长度重叠指标阈值，则计数加1，在遍历所有；统计y轴方向重叠数量：针对每一对框，如果其重叠面积大于0且iol y大于纵轴长度重叠指标阈值，则计数加1。
需要指出，上述iol表示intersection over length，即长度的交集比并集，iol采用相交长度与合并长度比值来计算长度重叠指标的方式类似于现有技术中的交并比IoU（Intersection over Union）的计算方式，但区别于交并比IoU采用相交面积与合并面积比值来计算的方式，上述长度重叠指标采用相交长度与合并长度比值来计算，进而分别确定识别扩大框沿横轴方向上的扩大框重叠数量和扩大框沿纵轴方向上的扩大框重叠数量。
需要指出，上述iol x和iol y的具体取值可以根据具体的应用场景进行选取，例如：预先采用实验的方式确定不同应用场景下的优选iol x和iol y的值，实验方法可以为：针对某应用场景下的物品陈列图像，采用若干张物品陈列图像，并给定不同的iol x和iol y的取值范围，采用上述物品陈列图像方向识别方法对若干张物品陈列图像进行方向识别，并计算不同取值范围下方向识别的准确率，根据识别准确率确定当前应用场景下优选的iol x和iol y的取值或取值范围。例如在零售场景中，采用上述实验方法所选出的iol x和iol y的取值范围均为
。
在上述方案的实现过程中，采用相交长度与合并长度的比值来作为长度重叠指标，可以更好的表征两个识别扩大框之间沿横轴方向以及沿纵轴方向的长度重叠程度，然后通过长度重叠指标阈值即可获取扩大框重叠数量，进而通过扩大框重叠数量即可获得图像方向，在提高上述物品陈列图像方向识别方法的识别效率的同时，还提高了上述物品陈列图像方向识别方法的识别准确率。
下面详细介绍步骤S140：步骤S140中基于识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断物品陈列图像的方向为非正立还是正立，包括：若物品识别扩大框沿横轴方向上的扩大框重叠数量大于沿纵轴方向上的扩大框重叠数量，则图像方向为非正立，否则图像方向为正立。该实施方式例如：沿横轴方向上的扩大框重叠数量的获取原理可以理解为：对与当前识别扩大框沿横轴方向上的长度重叠程度大于预设横轴长度重叠指标的识别扩大框进行计数，根据物品陈列场景中同层货架的物品密集陈列的特性，若物品陈列图像的方向为正立，即使按照预设扩大尺度将识别框扩大，同层货架上所陈列的物品在横轴坐标范围内的重叠程度也比较低，而处于其他层中的物品却有较大概率是与当前识别扩大框在横轴长度上有较大程度的重叠，但由于有重叠面积需要大于0的限制条件，因此正立图像在沿横轴方向上的扩大框重叠数量较小。若物品识别扩大框沿横轴方向上的扩大框重叠数量小于或小于等于沿纵轴方向上的扩大框重叠数量，则图像方向为正立，否则图像的方向为非正立。
在上述方案的实现过程中，采用识别扩大框沿横轴方向上的扩大框重叠数量与识别扩大框沿纵轴方向上的扩大框重叠数量即可识别图像的方向为正立还是非正立，提高了上述物品陈列图像方向识别方法的识别效率；并且，由于运算过程简单，可以直接部署在CPU中进行运算，无需占用GPU资源，运算速度较快；同时，相较于现有技术中采用深度学习方法识别图像方向的方式，上述物品陈列图像方向识别方法无需考虑训练集的分布，其泛化能力较强。
本申请实施例还通过对比实验对本申请实施例所提出的物品陈列图像方向识别方法的运行速度进行验证，经过验证，若采用深度学习方法来识别图像方向，通常需要10ms以上，而采用本申请实施例所提出的物品陈列图像方向识别方法通常仅需要小于1ms的运算时间即可获得物品陈列图像的方向。
基于同一发明构思，本申请实施例中还提供一种物品陈列图像方向识别装置。请参见图3，本申请实施例提供一种物品陈列图像方向识别装置200，包括：
物品识别框获取模块210，用于获取物品陈列图像中物品的识别框；
扩大处理模块220，用于对所述识别框进行扩大处理，获取识别扩大框；
扩大框重叠数量获取模块230，用于根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；
图像方向判定模块240，用于基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立。
作为上述物品陈列图像方向识别装置的一种可选实施方式，扩大框重叠数量获取模块230中获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：获取所述识别扩大框之间的重叠面积；若所述识别扩大框之间的重叠面积大于0，则获取所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标；基于所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量。
作为上述物品陈列图像方向识别装置的一种可选实施方式，扩大框重叠数量获取模块230基于所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，统计识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在横轴方向上的长度重叠指标满足横轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿横轴方向上的扩大框重叠数量；统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在纵轴方向上的长度重叠指标满足纵轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿纵轴方向上的扩大框重叠数量。
作为上述物品陈列图像方向识别装置的一种可选实施方式，扩大框重叠数量获取模块230获取所述识别扩大框在横轴方向上的长度重叠指标以及在纵轴方向上的长度重叠指标，包括：获取所述识别扩大框在横轴方向上的相交长度以及合并长度，将所述识别扩大框在横轴方向上的相交长度与合并长度之比确定为所述识别扩大框在横轴方向上的长度重叠指标；获取所述识别扩大框在纵轴方向上的相交长度以及合并长度，将所述识别扩大框在纵轴方向上的相交长度与合并长度之比确定为所述识别扩大框在纵轴方向上的长度重叠指标。
作为上述物品陈列图像方向识别装置的一种可选实施方式，图像方向判定模块240基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立，包括：若识别扩大框沿横轴方向上的扩大框重叠数量大于沿纵轴方向上的扩大框重叠数量，则图像方向为非正立，否则图像方向为正立。
作为上述物品陈列图像方向识别装置的一种可选实施方式，物品识别框获取模块210包括：识别框角点坐标获取单元，用于获取识别框的角点坐标。扩大处理模块220具体为：基于所述识别框的角点坐标，对所述识别框按照预设扩大尺度进行扩大处理，获得识别扩大框。
作为上述物品陈列图像方向识别装置的一种可选实施方式，物品识别框获取模块210所获取的识别框角点坐标为归一化坐标。
图4为本申请实施例提供的一种电子设备的示意图。参照图4，电子设备300包括：处理器310、存储器320以及通信接口330，这些组件通过通信总线340和/或其他形式的连接机构（未示出）互连并相互通讯。
其中，存储器320包括一个或多个（图中仅示出一个），其可以是，但不限于，随机存取存储器（RandomAccessMemory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，简称EEPROM）等。处理器310以及其他可能的组件可对存储器320进行访问，读和/或写其中的数据。
处理器310包括一个或多个（图中仅示出一个），其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器310可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、微控制单元（Micro Controller Unit，简称MCU）、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括数字信号处理器(DigitalSignalProcessor,简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuits，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通信接口330包括一个或多个（图中仅示出一个），可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。例如，通信接口330可以是以太网接口；可以是移动通信网络接口，例如3G、4G、5G网络的接口；还是可以是具有数据收发功能的其他类型的接口。
在存储器320中可以存储一个或多个计算机程序指令，处理器310可以读取并运行这些计算机程序指令，以实现本申请实施例提供的物品陈列图像方向识别方法以及其他期望的功能。
可以理解，图4所示的结构仅为示意，电子设备300还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。例如，电子设备300可以是单台服务器（或其他具有运算处理能力的设备）、多台服务器的组合、大量服务器的集群等，并且，既可以是物理设备也可以是虚拟设备。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被计算机的处理器读取并运行时，执行本申请实施例提供的物品陈列图像方向识别方法。例如，计算机可读存储介质可以实现为图4中电子设备300中的存储器320。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种物品陈列图像方向识别方法，其特征在于，包括：
获取物品陈列图像中物品的识别框；所述物品陈列图像为密集陈列在货架上的物品的图像；
对所述识别框进行扩大处理，获取识别扩大框；
根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；
基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立；
所述根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量，包括：
获取所述识别扩大框在横轴方向上的相交长度以及合并长度，将所述识别扩大框在横轴方向上的相交长度与合并长度之比确定为所述识别扩大框在横轴方向上的长度重叠指标；
获取所述识别扩大框在纵轴方向上的相交长度以及合并长度，将所述识别扩大框在纵轴方向上的相交长度与合并长度之比确定为所述识别扩大框在纵轴方向上的长度重叠指标；
统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在横轴方向上的长度重叠指标满足横轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿横轴方向上的扩大框重叠数量；
统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在纵轴方向上的长度重叠指标满足纵轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿纵轴方向上的扩大框重叠数量；
所述基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立，包括：
若识别扩大框沿横轴方向上的扩大框重叠数量大于沿纵轴方向上的扩大框重叠数量，则图像方向为非正立，否则图像方向为正立。
2.根据权利要求1所述的物品陈列图像方向识别方法，其特征在于，所述获取物品陈列图像中物品的识别框，包括：
获取识别框的角点坐标；
所述对所述识别框进行扩大处理，获取识别扩大框，包括：
基于所述识别框的角点坐标，对所述识别框按照预设扩大尺度进行扩大处理，获得识别扩大框。
3.根据权利要求2所述的物品陈列图像方向识别方法，其特征在于，所述识别框的角点坐标为归一化坐标。
4.一种物品陈列图像方向识别装置，其特征在于，包括：
物品识别框获取模块，用于获取物品陈列图像中物品的识别框；所述物品陈列图像为密集陈列在货架上的物品的图像；
扩大处理模块，用于对所述识别框进行扩大处理，获取识别扩大框；
扩大框重叠数量获取模块，用于根据预设扩大框重叠判定规则，获取所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量；
图像方向判定模块，用于基于所述识别扩大框沿横轴方向以及纵轴方向上的扩大框重叠数量判断所述物品陈列图像的方向为非正立还是正立；
所述扩大框重叠数量获取模块，具体用于：
获取所述识别扩大框在横轴方向上的相交长度以及合并长度，将所述识别扩大框在横轴方向上的相交长度与合并长度之比确定为所述识别扩大框在横轴方向上的长度重叠指标；
获取所述识别扩大框在纵轴方向上的相交长度以及合并长度，将所述识别扩大框在纵轴方向上的相交长度与合并长度之比确定为所述识别扩大框在纵轴方向上的长度重叠指标；
统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在横轴方向上的长度重叠指标满足横轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿横轴方向上的扩大框重叠数量；
统计所述识别扩大框之间的重叠面积大于0，且所述识别扩大框在纵轴方向上的长度重叠指标满足纵轴长度重叠指标阈值的识别扩大框的数量，将其作为识别扩大框沿纵轴方向上的扩大框重叠数量；
所述图像方向判定模块，具体用于：
若识别扩大框沿横轴方向上的扩大框重叠数量大于沿纵轴方向上的扩大框重叠数量，则图像方向为非正立，否则图像方向为正立。
5.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1~3中任一项所述的方法。
6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1~3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310154186.5A CN115841571B (zh) | 2023-02-23 | 2023-02-23 | 物品陈列图像方向识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310154186.5A CN115841571B (zh) | 2023-02-23 | 2023-02-23 | 物品陈列图像方向识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115841571A CN115841571A (zh) | 2023-03-24 |
| CN115841571B true CN115841571B (zh) | 2023-05-23 |
Family
ID=85580115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310154186.5A Active CN115841571B (zh) | 2023-02-23 | 2023-02-23 | 物品陈列图像方向识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115841571B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178770A (zh) * | 2007-12-11 | 2008-05-14 | 北京中星微电子有限公司 | 一种图像检测方法及装置 |
| CN108268200A (zh) * | 2018-01-22 | 2018-07-10 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备、计算机程序和存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977945A (zh) * | 2019-02-26 | 2019-07-05 | 博众精工科技股份有限公司 | 基于深度学习的定位方法和系统 |
| JP7377627B2 (ja) * | 2019-06-04 | 2023-11-10 | グローリー株式会社 | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム |
| CN110738123B (zh) * | 2019-09-19 | 2020-10-23 | 创新奇智(北京)科技有限公司 | 识别密集陈列商品的方法及其装置 |
| CN114005149A (zh) * | 2020-07-13 | 2022-02-01 | 华为技术有限公司 | 一种目标角度检测模型的训练方法及装置 |
| CN112926463B (zh) * | 2021-03-02 | 2024-06-07 | 普联国际有限公司 | 一种目标检测方法和装置 |
| CN113537079A (zh) * | 2021-07-19 | 2021-10-22 | 江苏天楹机器人智能科技有限公司 | 一种基于深度学习的目标图像角度计算方法 |
| CN115359117B (zh) * | 2022-08-30 | 2023-05-02 | 创新奇智(广州)科技有限公司 | 商品陈列位置确定方法、装置及可读存储介质 |
-
2023
- 2023-02-23 CN CN202310154186.5A patent/CN115841571B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101178770A (zh) * | 2007-12-11 | 2008-05-14 | 北京中星微电子有限公司 | 一种图像检测方法及装置 |
| CN108268200A (zh) * | 2018-01-22 | 2018-07-10 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备、计算机程序和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115841571A (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783181B (zh) | 屏幕适配显示方法、电子设备及计算机存储介质 | |
| US10885660B2 (en) | Object detection method, device, system and storage medium | |
| CN107633208B (zh) | 电子装置、人脸追踪的方法及存储介质 | |
| CN111640089A (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
| CN107545223B (zh) | 图像识别方法及电子设备 | |
| CN108021863B (zh) | 电子装置、基于图像的年龄分类方法及存储介质 | |
| CN113011677B (zh) | 基于车库的车位排布优化方法及相关产品 | |
| CN111583381A (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN111080762B (zh) | 虚拟模型渲染方法及装置 | |
| CN114708374A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN112734827A (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
| CN113689524A (zh) | 面向平面点集构建凸包的方法、装置、电子设备及介质 | |
| US11281935B2 (en) | 3D object detection from calibrated 2D images | |
| CN115841571B (zh) | 物品陈列图像方向识别方法、装置、电子设备及存储介质 | |
| CN113298852A (zh) | 目标跟踪方法、装置、电子设备及计算机可读存储介质 | |
| CN108564637B (zh) | 几何模型排布方法及装置 | |
| CN114677578B (zh) | 确定训练样本数据的方法和装置 | |
| CN116189090A (zh) | 金融场景合法性校验方法及装置 | |
| CN114510142B (zh) | 基于二维图像的手势识别方法及其系统和电子设备 | |
| CN114328783A (zh) | 地图数据输出方法、地图数据处理方法、装置和电子设备 | |
| CN113743219A (zh) | 运动目标检测方法、装置、电子设备及存储介质 | |
| CN112257710A (zh) | 一种带文字平面的图片倾斜度检测方法及装置 | |
| CN112399236B (zh) | 一种视频查重方法、装置及电子设备 | |
| CN109410304A (zh) | 一种投影确定方法、装置及设备 | |
| CN112905925B (zh) | 一种提示框展示的方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200 Patentee after: Innovation Qizhi Technology Group Co.,Ltd. Country or region after: China Address before: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200 Patentee before: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |