Nothing Special   »   [go: up one dir, main page]

CN108389316B - 自动售货方法、装置和计算机可读存储介质 - Google Patents

自动售货方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN108389316B
CN108389316B CN201810174847.XA CN201810174847A CN108389316B CN 108389316 B CN108389316 B CN 108389316B CN 201810174847 A CN201810174847 A CN 201810174847A CN 108389316 B CN108389316 B CN 108389316B
Authority
CN
China
Prior art keywords
goods
image
user
picked
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810174847.XA
Other languages
English (en)
Other versions
CN108389316A (zh
Inventor
谭志羽
张屹峰
王永杰
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810174847.XA priority Critical patent/CN108389316B/zh
Publication of CN108389316A publication Critical patent/CN108389316A/zh
Priority to PCT/CN2019/075078 priority patent/WO2019165892A1/zh
Priority to US16/968,032 priority patent/US11461753B2/en
Priority to JP2020542656A priority patent/JP7248689B2/ja
Application granted granted Critical
Publication of CN108389316B publication Critical patent/CN108389316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/023—Arrangements for display, data presentation or advertising
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Image Analysis (AREA)
  • Vending Machines For Individual Products (AREA)

Abstract

本公开提出一种自动售货方法、装置和计算机可读存储介质，涉及自动贩售机领域。其中的方法包括：从拍摄的自动贩售机中货品的视频流中获取图像；从图像中定位用户拿起的货品的图像；根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；根据识别的货品信息自动对用户进行结算。该售货方式允许用户先拿到货品再付款，使得用户在购买前可以接触并充分了解货品，并且自动结算，结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。

Description

自动售货方法、装置和计算机可读存储介质
技术领域
本公开涉及自动贩售机领域，特别涉及一种自动售货方法、装置和计算机可读存储介质。
背景技术
随着技术的发展，无人超市、无人便利店成为颠覆传统零售的变革形态，各种自动售货机也应运而生。
现有技术中，自动售货机的购买流程是，首先用户透过自动售货机的玻璃来辨别商品，然后通过触屏或按键选定商品，接着通过投币或支付应用等方式支付货款，最后商品从自动售货机的出货口滑出。
发明内容
发明人发现，用户购买之前所能接触到的商品信息有限，并且是先付款再拿到商品，如果购买错误，将无法退回，购物体验有待提升。
本公开实施例所要解决的一个技术问题是：提升自动售货场景下的购物体验。
根据本公开的一个方面，提出一种自动售货方法，包括：
从拍摄的自动贩售机中货品的视频流中获取图像；
从所述图像中定位用户拿起的货品的图像；
根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；
根据识别的所述货品信息自动对所述用户进行结算。
在一些实施例中，从所述图像中定位用户拿起的货品的图像包括：
将所述图像输入货品定位模型，所述货品定位模型输出用户拿起的货品的图像；其中，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。
在一些实施例中，识别用户拿起的货品的图像对应的货品信息包括：将用户拿起的货品的图像输入货品识别模型，所述货品识别模型输出用户拿起的货品的图像对应的货品特征；其中，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到；
将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
在一些实施例中，所述货品特征库采用以下方法建立或更新：
将货品的图像输入到所述货品识别模型，所述货品识别模型输出货品的图像对应的货品特征，其中，货品的图像具有货品分类的标注信息；
将所述货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到所述货品特征库；
其中，所述货品的图像包括已有货品的图像、新货品的图像中的至少一种。
在一些实施例中，该方法还包括：
根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪；
当用户拿起的货品的运动范围超过规定区域后，触发自动结算操作。
在一些实施例中，采用卷积神经网络模型进行图像处理，以定位用户拿起的货品的图像和确定用户拿起的货品的图像对应的货品信息。
在一些实施例中，视频流的拍摄装置在自动贩售机中的设置方式为：
在自动贩售机的顶端内壁上靠近柜门处设置视频流的拍摄装置；
在自动贩售机中每层货架的侧面内壁上设置视频流的拍摄装置，其中，相邻两层货架的两侧面内壁上交错设置视频流的拍摄装置。
在一些实施例中，该方法还包括：
获取用户拿起的货品所在货架的承载重量变化值；
根据自动贩售机中每个货品的重量，确定所述承载重量变化值对应的可能性货品组合，所述可能性货品组合包括至少一个可能性货品；
所述识别用户拿起的货品的图像对应的货品信息包括：根据所述货品特征库，并且结合所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，该方法还包括：
根据预设条件确定可能性货品组合的置信度；所述预设条件包括至少一个：所述可能性货品组合的重量与所述承载重量变化值的差距信息，所述可能性货品组合中的货品数量；
所述识别用户拿起的货品的图像对应的货品信息包括：根据所述货品特征库，并且结合置信度高于预设值的所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
根据本公开的另一个方面，提出一种自动售货装置，包括：
图像获取模块，用于从拍摄的自动贩售机中货品的视频流中获取图像；
货品定位模块，用于从所述图像中定位用户拿起的货品的图像；
货品识别模块，用于根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；
结算模块，用于根据识别的所述货品信息自动对所述用户进行结算。
在一些实施例中，所述货品定位模块，用于将所述图像输入货品定位模型，所述货品定位模型输出用户拿起的货品的图像；其中，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。
在一些实施例中，所述货品识别模块，用于将用户拿起的货品的图像输入货品识别模型，所述货品识别模型输出用户拿起的货品的图像对应的货品特征；其中，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到；
将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
在一些实施例中，该装置还包括：
特征库模块，用于将货品的图像输入到所述货品识别模型，所述货品识别模型输出货品的图像对应的货品特征，其中，货品的图像具有货品分类的标注信息；
将所述货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到所述货品特征库；
其中，所述货品的图像包括已有货品的图像、新货品的图像中的至少一种。
在一些实施例中，该装置还包括：
货品跟踪模块，用于根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪；
当用户拿起的货品的运动范围超过规定区域后，触发自动结算操作。
在一些实施例中，所述货品定位模块采用卷积神经网络模型进行图像处理，以定位用户拿起的货品的图像；
所述货品识别模块采用卷积神经网络模型进行图像处理，以识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，该装置还包括：
辅助识别模块，用于获取用户拿起的货品所在货架的承载重量变化值；根据自动贩售机中每个货品的重量，确定所述承载重量变化值对应的可能性货品组合，所述可能性货品组合包括至少一个可能性货品；
所述货品识别模块，用于根据所述货品特征库，并且结合所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，所述辅助识别模块，还用于根据预设条件确定可能性货品组合的置信度；所述预设条件包括至少一个：所述可能性货品组合的重量与所述承载重量变化值的差距信息，所述可能性货品组合中的货品数量；
所述货品识别模块，用于根据所述货品特征库，并且结合置信度高于预设值的所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
根据本公开的另一个方面，提出一种自动售货装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述的自动售货方法。
根据本公开的另一个方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的自动售货方法。
本公开实施例通过视频图像处理技术，对用户欲购买的货品进行定位和识别，并且基于货品识别结果自动进行结算，该售货方式允许用户先拿到货品再付款，使得用户在购买前可以接触并充分了解货品，并且自动结算，结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开自动贩售机一些实施例的示意图。
图2为本公开自动售货方法一些实施例的流程示意图。
图3为本公开自动售货方法另一些实施例的流程示意图。
图4为本公开自动售货装置一些实施例的结构示意图。
图5为本公开自动售货装置另一些实施例的结构示意图。
图6为本公开自动售货装置的一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1为本公开自动贩售机一些实施例的示意图。
如图1所示，自动贩售机通常具有多层货架11，货架11可以摆放货品，自动贩售机内设置了视频流的拍摄装置12。为了更全面地拍摄货品以及货品取放的情况，可以在自动贩售机的顶端内壁上靠近柜门处设置视频流的拍摄装置，以及在自动贩售机中每层货架的侧面内壁上设置视频流的拍摄装置，其中，相邻两层货架的两侧面内壁上交错设置视频流的拍摄装置。例如，从上往下，在第一层货架的右侧内壁上设置拍摄装置，在第二层货架的左侧内壁上设置拍摄装置，在第三层货架的右侧内壁上设置拍摄装置，在第四层货架的左侧内壁上设置拍摄装置。
在自动售货应用场景中，用户打开自动贩售机的柜门，在开放环境中选购货品，拍摄装置拍摄自动贩售机内以及周边预设范围内的视频，并将拍摄的视频流传输给自动售货装置。自动售货装置通过视频图像处理、重量检测等技术，准确地识别用户欲购买的货品，并自动进行结算。在一些实施例中，自动售货装置例如可以服务器或云服务器。服务器或云服务器为若干个自动贩售机提供服务。下面结合图2和图3描述该自动售货过程。
图2为本公开自动售货方法一些实施例的流程示意图。
如图2所示，该实施例的自动售货方法包括：步骤210-240，例如可以由自动售货装置执行。
在步骤210，从拍摄的自动贩售机中货品的视频流中获取图像。
如果有多个视频流，可以从每个视频流中分别获取图像，获取的每个图像均执行后续的图像处理。
在步骤220，从图像中定位用户拿起的货品的图像。
在一些实施例中，将图像输入货品定位模型，货品定位模型定位并输出用户拿起的货品的图像。货品定位模型例如可以选用卷积神经网络模型。
货品定位模型在使用之前可以先进行训练。货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。具体地说，对多个货品的图像，例如采用人工标注的方法，标注图像中的货品位置，然后，将多个货品的图像及其货品位置的标注信息输入至货品定位模型中，货品定位模型通过训练得到图像中是否存在货品以及货品的大致位置，将模型识别的货品的大致位置与标注的货品位置进行比较，判断比较结果是否满足构建的货品位置的损失函数的要求，反复迭代，优化和调整货品定位模型的参数，使得比较结果最终满足构建的货品位置的损失函数的要求，保存该货品定位模型。
在步骤230，根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，将用户拿起的货品的图像输入货品识别模型，货品识别模型输出用户拿起的货品的图像对应的货品特征，其中的货品识别模型例如可以选用卷积神经网络模型，然后，将货品识别模型输出的货品特征与货品特征库中的货品特征进行匹配，并将匹配到的货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
货品识别模型在使用之前可以先进行训练。货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到。具体地说，对多个货品的图像，例如采用人工标注的方法，标注图像中的货品分类，该货品分类可以具体到货品的SKU(Stock Keeping Unit，库存量单位)级别，而不仅是货品所属的类别；然后，将多个货品的图像及其货品分类的标注信息输入至货品识别模型中，货品识别模型通过训练得到图像中货品分类的概率信息，可以将概率最大的货品分类确定为货品识别结果；然后，将模型识别的货品分类与标注的货品分类进行比较，判断比较结果是否满足构建的货品分类的损失函数的要求，反复迭代，优化和调整货品识别模型的参数，使得比较结果最终满足构建的货品分类的损失函数的要求，保存该货品识别模型。
在一些实施例中，货品特征库可以采用以下方法建立：将已有货品的图像输入到货品识别模型，货品识别模型输出货品的图像对应的货品特征，其中，已有货品的图像具有货品分类的标注信息，然后，将货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到货品特征库。
在一些实施例中，货品特征库可以采用以下方法更新：将新货品的图像输入到货品识别模型，货品识别模型输出货品的图像对应的货品特征，其中，新货品的图像具有货品分类的标注信息，然后，将货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到货品特征库。可见，货品特征加入特征库即可更新商品数据库，不需要重新训练模型。
在步骤240，根据识别的货品信息自动对用户进行结算。
在一些实施例中，在步骤241，根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪。在步骤242，当用户拿起的货品的运动范围超过规定区域后，触发自动结算操作。反之，当用户拿起的货品的运动范围还在规定区域时，例如，用户手持的货品还在货架范围内，暂不结算。
通过视频图像处理技术，对用户欲购买的货品进行定位和识别，并且基于货品识别结果自动进行结算，该售货方式允许用户先拿到货品再付款，使得用户在购买前可以接触并充分了解货品，并且自动结算，结算更加简单，无需排队或扫描二维码等额外的结算操作，提升自动售货场景下的购物体验。
图3为本公开自动售货方法另一些实施例的流程示意图。
如图3所示，该实施例的自动售货方法包括：步骤310-340，例如可以由自动售货装置执行。
在步骤310，从拍摄的自动贩售机中货品的视频流中获取图像。
在步骤320，从图像中定位用户拿起的货品的图像，具体可以参考步骤220。
在步骤325，获取用户拿起的货品所在货架的承载重量变化值，根据自动贩售机中每个货品的重量，确定承载重量变化值对应的可能性货品组合，可能性货品组合包括至少一个可能性货品。
在一些实施例中，从未结算物品中确定承载重量变化值对应的可能性货品组合。其中的未结算物品包括货架物品、待结算物品中至少一项。在一些实施例中，若货架的承载重量变少，说明很可能发生了用户从货架取货的行为，可以从货架物品中确定承载重量变化值对应的可能性货品组合；若货架的承载重量变多，说明很可能发生了用户将货品放回货架的行为，可以从待结算物品中确定承载重量变化值对应的可能性货品组合；在一些情况下，还可能出现同时取货和放货的行为，而该行为也可能出现货架的承载重量变多或变少的情况下，此时可以从货架物品和待结算物品中确定承载重量变化值对应的可能性货品组合，从而在同时取货和放货的情况下仍能识别出被拿取的货品和被放回的货品。其中的货架物品为货架的承载重量发生变化之前位于货架的物品。其中的待结算物品为货架的承载重量发生变化之前待结算的物品，即用户已从货架上将其拿走、但是没有进行结算的物品。待结算物品可以视为是用户已放入购物车的物品，该“购物车”可以是一个实体装置，也可以是虚拟的。物品组合中除了包括物品的名称或标识以及数量以外，还可以包括物品的来源，即标明该物品是货架物品还是待结算物品。
例如，当前货架上物品A的单件重量为210g、物品B的单件重量为250g，设物品A有一件，物品B有2件；购物车中有一件物品C，重量为380g。则未结算商品的所有组合如表1所示。组合{A}表示用户从货架上取走A，组合{C}表示用户将购物车中的待结算的C放回到货架上，组合{B,C}表示用户从货架上取走B、同时将购物车中的待结算的C放回到货架上。可见，本实施例支持取货、放货、同时取货和放货这几种情况的货品识别。
货架上的称重设备感测到重量减少250g，该承载重量变化值250g对应的可能性货品组合为{B}。
表1
物品组合 对应的变化重量(g)
A 210
B 250
C -380
A A 420
A B 460
A C -170
B C -130
A B C -20
在步骤330，根据预先建立的货品特征库，并且结合可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，根据预先建立的货品特征库识别用户拿起的货品的图像对应的备选货品信息，若备选货品信息也是可能性货品组合，则该备选货品信息确认为是用户拿起的货品的图像对应的货品信息，否则，若备选货品信息不是可能性货品组合，则该备选货品信息的识别有误，选择其他备选货品信息。
进一步地，根据预设条件确定可能性货品组合的置信度；该预设条件包括至少一个：可能性货品组合的重量与承载重量变化值的差距信息，可能性货品组合中的货品数量。重量差距越小，置信度越高。可能性货品组合中的货品数量越少，置信度越高。根据货品特征库，并且结合置信度高于预设值的可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
在步骤340，根据识别的货品信息自动对用户进行结算，具体可以参考步骤240。
通过视频图像处理技术和重量检测技术，可以更加准确地识别用户欲购买的货品，并且基于货品识别结果自动进行结算，结算更加准确和简单，提升自动售货场景下的购物体验。
图4为本公开自动售货装置一些实施例的结构示意图。
如图4所示，该实施例的自动售货装置包括：
图像获取模块410，用于从拍摄的自动贩售机中货品的视频流中获取图像；
货品定位模块420，用于从图像中定位用户拿起的货品的图像；
货品识别模块430，用于根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；
结算模块440，用于根据识别的货品信息自动对用户进行结算。
在一些实施例中，货品定位模块420，用于将图像输入货品定位模型，货品定位模型输出用户拿起的货品的图像；其中，货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。
在一些实施例中，货品定位模块420采用卷积神经网络模型进行图像处理，以定位用户拿起的货品的图像。
在一些实施例中，货品识别模块430，用于将用户拿起的货品的图像输入货品识别模型，货品识别模型输出用户拿起的货品的图像对应的货品特征；其中，货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到；将货品识别模型输出的货品特征与货品特征库中的货品特征进行匹配，并将匹配到的货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
在一些实施例中，货品识别模块430采用卷积神经网络模型进行图像处理，以识别用户拿起的货品的图像对应的货品信息。
图5为本公开自动售货装置另一些实施例的结构示意图。
在一些实施例中，自动售货装置还包括：特征库模块550，用于将货品的图像输入到货品识别模型，货品识别模型输出货品的图像对应的货品特征，其中，货品的图像具有货品分类的标注信息；将货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到货品特征库；其中，货品的图像包括已有货品的图像、新货品的图像中的至少一种。
在一些实施例中，自动售货装置还包括：货品跟踪模块560，用于根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪；当用户拿起的货品的运动范围超过规定区域后，触发自动结算操作。
在一些实施例中，自动售货装置还包括：辅助识别模块570，用于获取用户拿起的货品所在货架的承载重量变化值；根据自动贩售机中每个货品的重量，确定承载重量变化值对应的可能性货品组合，可能性货品组合包括至少一个可能性货品；货品识别模块430，用于根据货品特征库，并且结合可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
在一些实施例中，辅助识别模块570，还用于根据预设条件确定可能性货品组合的置信度；预设条件包括至少一个：可能性货品组合的重量与承载重量变化值的差距信息，可能性货品组合中的货品数量；货品识别模块430，用于根据货品特征库，并且结合置信度高于预设值的可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
图6为本公开自动售货装置的一些实施例的结构示意图。如图6所示，该实施例的装置600包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的自动售货方法。
其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置600还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一个实施例中的自动售货方法。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (17)

1.一种应用于自动贩售机的自动售货方法，自动贩售机内设置的拍摄装置拍摄自动贩售机内以及周边预设范围内的视频，
所述方法包括：
从拍摄的自动贩售机中货品的视频流中获取图像；
从所述图像中定位用户拿起的货品的图像；
根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；
根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪；
当用户拿起的货品的运动范围超过规定区域后，触发根据识别的所述货品信息自动对所述用户进行结算的操作。
2.如权利要求1所述的方法，其中，从所述图像中定位用户拿起的货品的图像包括：
将所述图像输入货品定位模型，所述货品定位模型输出用户拿起的货品的图像；其中，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。
3.如权利要求1所述的方法，其中，识别用户拿起的货品的图像对应的货品信息包括：
将用户拿起的货品的图像输入货品识别模型，所述货品识别模型输出用户拿起的货品的图像对应的货品特征；其中，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到；
将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
4.如权利要求3所述的方法，其中，所述货品特征库采用以下方法建立或更新：
将货品的图像输入到所述货品识别模型，所述货品识别模型输出货品的图像对应的货品特征，其中，货品的图像具有货品分类的标注信息；
将所述货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到所述货品特征库；
其中，所述货品的图像包括已有货品的图像、新货品的图像中的至少一种。
5.如权利要求1-4任一项所述的方法，其中，采用卷积神经网络模型进行图像处理，以定位用户拿起的货品的图像和识别用户拿起的货品的图像对应的货品信息。
6.如权利要求1-4任一项所述的方法，其中，视频流的拍摄装置在自动贩售机中的设置方式为：
在自动贩售机的顶端内壁上靠近柜门处设置视频流的拍摄装置；
在自动贩售机中每层货架的侧面内壁上设置视频流的拍摄装置，其中，相邻两层货架的两侧面内壁上交错设置视频流的拍摄装置。
7.如权利要求1所述的方法，还包括：
获取用户拿起的货品所在货架的承载重量变化值；
根据自动贩售机中每个货品的重量，确定所述承载重量变化值对应的可能性货品组合，所述可能性货品组合包括至少一个可能性货品；
所述识别用户拿起的货品的图像对应的货品信息包括：根据所述货品特征库，并且结合所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
8.如权利要求7所述的方法，还包括：
根据预设条件确定可能性货品组合的置信度；所述预设条件包括至少一个：所述可能性货品组合的重量与所述承载重量变化值的差距信息，所述可能性货品组合中的货品数量；
所述识别用户拿起的货品的图像对应的货品信息包括：根据所述货品特征库，并且结合置信度高于预设值的所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
9.一种应用于自动贩售机的自动售货装置，自动贩售机内设置的拍摄装置拍摄自动贩售机内以及周边预设范围内的视频，
自动售货装置包括：
图像获取模块，用于从拍摄的自动贩售机中货品的视频流中获取图像；
货品定位模块，用于从所述图像中定位用户拿起的货品的图像；
货品识别模块，用于根据预先建立的货品特征库，识别用户拿起的货品的图像对应的货品信息；
结算模块，用于根据识别的所述货品信息自动对所述用户进行结算；
货品跟踪模块，用于根据用户拿起的货品的多张图像，对用户拿起的货品的运动轨迹进行跟踪；当用户拿起的货品的运动范围超过规定区域后，触发所述结算模块进行自动结算操作。
10.如权利要求9所述的装置，其中，所述货品定位模块，用于将所述图像输入货品定位模型，所述货品定位模型输出用户拿起的货品的图像；其中，所述货品定位模型通过多个货品的图像及其货品位置的标注信息进行训练得到。
11.如权利要求9所述的装置，其中，所述货品识别模块，用于将用户拿起的货品的图像输入货品识别模型，所述货品识别模型输出用户拿起的货品的图像对应的货品特征；其中，所述货品识别模型通过多个货品的图像及其货品分类的标注信息进行训练得到；
将所述货品识别模型输出的货品特征与所述货品特征库中的货品特征进行匹配，并将匹配到的所述货品特征库中的货品特征对应的货品分类的标注信息作为用户拿起的货品的图像对应的货品信息。
12.如权利要求11所述的装置，还包括：
特征库模块，用于将货品的图像输入到所述货品识别模型，所述货品识别模型输出货品的图像对应的货品特征，其中，货品的图像具有货品分类的标注信息；
将所述货品识别模型输出的货品的图像对应的货品特征及其货品分类的标注信息一起存储到所述货品特征库；
其中，所述货品的图像包括已有货品的图像、新货品的图像中的至少一种。
13.如权利要求9-12任一项所述的装置，其中，
所述货品定位模块采用卷积神经网络模型进行图像处理，以定位用户拿起的货品的图像；
所述货品识别模块采用卷积神经网络模型进行图像处理，以识别用户拿起的货品的图像对应的货品信息。
14.如权利要求9所述的装置，还包括：
辅助识别模块，用于获取用户拿起的货品所在货架的承载重量变化值；根据自动贩售机中每个货品的重量，确定所述承载重量变化值对应的可能性货品组合，所述可能性货品组合包括至少一个可能性货品；
所述货品识别模块，用于根据所述货品特征库，并且结合所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
15.如权利要求14所述的装置，其中，
所述辅助识别模块，还用于根据预设条件确定可能性货品组合的置信度；所述预设条件包括至少一个：所述可能性货品组合的重量与所述承载重量变化值的差距信息，所述可能性货品组合中的货品数量；
所述货品识别模块，用于根据所述货品特征库，并且结合置信度高于预设值的所述可能性货品组合，识别用户拿起的货品的图像对应的货品信息。
16.一种自动售货装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8中任一项所述的自动售货方法。
17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8中任一项所述的自动售货方法。
CN201810174847.XA 2018-03-02 2018-03-02 自动售货方法、装置和计算机可读存储介质 Active CN108389316B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810174847.XA CN108389316B (zh) 2018-03-02 2018-03-02 自动售货方法、装置和计算机可读存储介质
PCT/CN2019/075078 WO2019165892A1 (zh) 2018-03-02 2019-02-14 自动售货方法、装置和计算机可读存储介质
US16/968,032 US11461753B2 (en) 2018-03-02 2019-02-14 Automatic vending method and apparatus, and computer-readable storage medium
JP2020542656A JP7248689B2 (ja) 2018-03-02 2019-02-14 自動販売方法および装置、ならびにコンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810174847.XA CN108389316B (zh) 2018-03-02 2018-03-02 自动售货方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108389316A CN108389316A (zh) 2018-08-10
CN108389316B true CN108389316B (zh) 2021-07-13

Family

ID=63070210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174847.XA Active CN108389316B (zh) 2018-03-02 2018-03-02 自动售货方法、装置和计算机可读存储介质

Country Status (4)

Country Link
US (1) US11461753B2 (zh)
JP (1) JP7248689B2 (zh)
CN (1) CN108389316B (zh)
WO (1) WO2019165892A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389316B (zh) 2018-03-02 2021-07-13 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN111126110B (zh) * 2018-10-31 2024-01-05 杭州海康威视数字技术股份有限公司 一种商品信息识别方法、结算方法、装置及无人零售系统
CN109685979A (zh) * 2018-11-01 2019-04-26 深圳市友族科技有限公司 一种无人售货柜及无人售货方法
CN110378361B (zh) * 2018-11-23 2022-04-12 北京京东乾石科技有限公司 一种用于密集拿取物品检测的方法和装置
CN109544783A (zh) * 2018-11-26 2019-03-29 湖南金码智能设备制造有限公司 一种基于视频内容识别的售货机智能库存更新方法和系统
CN111222382A (zh) * 2018-11-27 2020-06-02 北京京东尚科信息技术有限公司 一种基于图像的商品结算方法、装置、介质及电子设备
CN111263224B (zh) * 2018-11-30 2022-07-15 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN109727376B (zh) * 2018-12-29 2022-03-04 北京沃东天骏信息技术有限公司 生成配置文件的方法、装置及售货设备
CN111415461B (zh) * 2019-01-08 2021-09-28 虹软科技股份有限公司 物品识别方法及系统、电子设备
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
WO2021072699A1 (en) * 2019-10-17 2021-04-22 Shenzhen Malong Technologies Co., Ltd. Irregular scan detection for retail systems
CN109886169B (zh) * 2019-02-01 2022-11-22 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN112074842B (zh) * 2019-03-21 2024-07-16 京东方科技集团股份有限公司 价签信息显示方法、装置及货架系统
CN111833518A (zh) * 2019-04-16 2020-10-27 浙江嗨便利网络科技有限公司 基于动态图像识别技术的智能售货柜
CN112184751B (zh) * 2019-07-04 2024-10-01 虹软科技股份有限公司 物体识别方法及系统、电子设备
CN110705377A (zh) * 2019-09-12 2020-01-17 创新奇智(合肥)科技有限公司 基于用户购买模式的无人货柜订单判定辅助方案
CN111950318A (zh) * 2020-08-12 2020-11-17 上海连尚网络科技有限公司 一种二维码图像的识别方法、设备及存储介质
CN112348248A (zh) 2020-11-03 2021-02-09 北京京东乾石科技有限公司 商品布局数据的获取方法、装置、货柜、设备和介质
CN113643473A (zh) * 2021-10-13 2021-11-12 北京每日优鲜电子商务有限公司 信息识别方法、装置、电子设备和计算机可读介质
CN117893628B (zh) * 2024-01-03 2024-10-25 北京三快网络科技有限公司 一种商品组合图片的生成方法、生成装置及存储介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050285716A1 (en) * 2001-12-27 2005-12-29 Triteq Lock And Security, Llc Electronic key control and management system for vending machines and the like
US20080154694A1 (en) * 2006-12-20 2008-06-26 Steve Litzow System and method for dynamic price setting and facilitation of commercial transactions
JP2002123860A (ja) * 2000-10-18 2002-04-26 Faintekku:Kk 菓子自動販売機における菓子払出方法及び菓子自動販売機
US6981450B1 (en) * 2002-01-11 2006-01-03 The United States Of America As Represented By The Secretary Of The Army Grenade dispense mechanism for non-spin dual purpose improved conventional munitions
JP2009009231A (ja) * 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
US20130284806A1 (en) * 2011-10-19 2013-10-31 Ran Margalit Automated purchasing system
JP2013106257A (ja) * 2011-11-15 2013-05-30 Tatsumi Denshi Kogyo Kk 写真自動販売装置、写真自動販売方法及びコンピュータプログラム
US9536236B2 (en) * 2012-06-08 2017-01-03 Ronny Hay Computer-controlled, unattended, automated checkout store outlet and related method
RU2017101145A (ru) * 2014-07-01 2018-08-03 Ронни ХЕЙ Управляемый компьютером автоматический киоск, не требующий присутствия продавца
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10810540B1 (en) * 2015-03-30 2020-10-20 Amazon Technologies, Inc. Item determination based on weight data
US10332066B1 (en) * 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
US10318917B1 (en) * 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
CN105095919A (zh) 2015-09-08 2015-11-25 北京百度网讯科技有限公司 图像识别方法和装置
US20170148005A1 (en) * 2015-11-20 2017-05-25 The Answer Group, Inc. Integrated Automatic Retail System and Method
CN105894362A (zh) * 2016-04-01 2016-08-24 天脉聚源(北京)传媒科技有限公司 一种推荐视频中的相关物品的方法及装置
CN107274172A (zh) * 2016-04-07 2017-10-20 阿里巴巴集团控股有限公司 信息处理方法、装置和系统
US10339595B2 (en) * 2016-05-09 2019-07-02 Grabango Co. System and method for computer vision driven applications within an environment
CN105931371B (zh) * 2016-07-12 2018-12-18 帮团成都电子商务有限责任公司 自动售货机及自动售货方法
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
US11132637B1 (en) * 2016-09-20 2021-09-28 Amazon Technologies, Inc. System to detect user interaction with inventory
CA3039507A1 (en) * 2016-10-04 2018-04-02 Walmart Apollo, Llc Automated point of sale system
CN206757798U (zh) * 2017-01-24 2017-12-15 广州市蚁道互联网有限公司 自动售货机
CN106781014B (zh) * 2017-01-24 2018-05-18 广州市蚁道互联网有限公司 自动售货机及其运行方法
WO2018144650A1 (en) * 2017-01-31 2018-08-09 Focal Systems, Inc. Automated checkout system through mobile shopping units
US20180240180A1 (en) * 2017-02-20 2018-08-23 Grabango Co. Contextually aware customer item entry for autonomous shopping applications
CA3055825A1 (en) * 2017-03-09 2018-09-13 Smartmart, Inc. Automated retail facility
CN206757789U (zh) * 2017-03-20 2017-12-15 山东精致物联科技股份有限公司 一种专用快递箱
CN106952402B (zh) * 2017-03-22 2019-09-06 帮团成都电子商务有限责任公司 一种数据处理方法及装置
CN107393152A (zh) * 2017-08-14 2017-11-24 杭州纳戒科技有限公司 自助售货机及自助售货系统
JP6904421B2 (ja) * 2017-08-25 2021-07-14 日本電気株式会社 店舗装置、店舗管理方法、プログラム
US20210374815A1 (en) * 2017-09-11 2021-12-02 Swyft, Inc. An automated store
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
CN111295696A (zh) * 2017-12-28 2020-06-16 许恩奇 自动售卖店
SG11202006589YA (en) * 2018-02-08 2020-08-28 Hefei Midea Intelligent Technologies Co Ltd Vending machine and vending method and vending system therefor
WO2019161734A1 (zh) * 2018-02-26 2019-08-29 合肥美的智能科技有限公司 无人售货设备及其售货方法和无人售货系统
CN108198052B (zh) * 2018-03-02 2024-07-19 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架系统
CN108389316B (zh) * 2018-03-02 2021-07-13 北京京东尚科信息技术有限公司 自动售货方法、装置和计算机可读存储介质
US20210158430A1 (en) * 2018-07-16 2021-05-27 Accel Robotics Corporation System that performs selective manual review of shopping carts in an automated store
US11394927B2 (en) * 2018-07-16 2022-07-19 Accel Robotics Corporation Store device network that transmits power and data through mounting fixtures
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US11250606B2 (en) * 2019-07-31 2022-02-15 Grabango Co. Privacy protection in vision systems
US11164226B2 (en) * 2019-11-01 2021-11-02 AiFi Inc. Method and system for managing product items in a store

Also Published As

Publication number Publication date
WO2019165892A1 (zh) 2019-09-06
JP7248689B2 (ja) 2023-03-29
US11461753B2 (en) 2022-10-04
JP2021515297A (ja) 2021-06-17
CN108389316A (zh) 2018-08-10
US20210398096A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN108389316B (zh) 自动售货方法、装置和计算机可读存储介质
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
JP7422792B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
US11587149B2 (en) Associating shoppers together
CN109840504B (zh) 物品取放行为识别方法、装置、存储介质及设备
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN112464697B (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN108460908A (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
CN108416902B (zh) 基于差异识别的实时物体识别方法和装置
US11288490B1 (en) Utilizing sensor data for automated user identification
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
JP7379677B2 (ja) 自動ユーザー識別用電子デバイス
CN111263224A (zh) 视频处理方法、装置及电子设备
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互系统
US20200387865A1 (en) Environment tracking
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111260685B (zh) 视频处理方法、装置及电子设备
EP3629276A1 (en) Context-aided machine vision item differentiation
CN114358881A (zh) 自助结算方法、装置和系统
CN110246280B (zh) 人货绑定方法及装置、计算机设备及可读介质
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备
CN113298597A (zh) 对象热度分析系统、方法及装置
CN113298542A (zh) 数据更新的方法、自助设备及存储介质
Abyasa et al. YOLOv8 for Product Brand Recognition as Inter-Class Similarities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant