CN113424197A

CN113424197A - 机器学习辅助自改进对象识别系统和方法

Info

Publication number: CN113424197A
Application number: CN201980076678.9A
Authority: CN
Inventors: 纳拉辛哈查里·纳拉娜·查克拉瓦蒂; 闵国华; 爱德华·L·希尔; 布雷特·比尔布雷
Original assignee: Positioning Imaging Co ltd
Current assignee: Positioning Imaging Co ltd
Priority date: 2018-09-21
Filing date: 2019-09-19
Publication date: 2021-09-21
Also published as: US20200097724A1; KR20210092720A; CA3111595A1; EP3853772A1; JP2022500783A; MX2021003341A; EP3853772A4; US11361536B2; US11961279B2; WO2020061276A1; US20240273856A1; US20220309783A1

Abstract

本发明公开了一种识别和跟踪对象的系统和方法，该系统和方法包括注册访问被指定用于保持对象的区域的人员的身份；捕获被指定用于保持对象的区域的图像；将图像的版本提交到深度神经网络，该深度神经网络被训练以检测和识别图像中的对象，如保持在指定区域中的那些对象；检测图像的该版本中的对象；使人员的所注册的身份与所检测的对象相关联；如果深度神经网络不能识别所检测的对象，则使用图像的该版本来重新训练深度神经网络；以及在所检测的对象位于被指定用于保持对象的区域中时，跟踪所检测的对象的位置。

Description

机器学习辅助自改进对象识别系统和方法

相关申请的交叉引用

本申请要求2018年9月21日提交的名称为“机器学习辅助自改进对象识别系统和方法(Machine-Learning-Assisted Self-Improving Object-identification Systemand Method)”的共同未决的美国临时申请号62/734,491的优先权和权益，该临时申请的全文以引用方式并入本文以用于所有目的。

技术领域

本发明整体涉及用于识别对象的机器学习系统和方法。

背景技术

各种消费品和零售运营试图通过使购买和结账过程自动化来改善顾客的购物体验。这种自动化需要部署可识别顾客已从架子取下什么物品的系统。一些系统采用视频监控和图像处理技术来识别这些物品。然而，正确检测和识别所捕获的图像中的物品可受到各种因素的影响，例如照明条件、阴影、被遮挡的视线以及架子上的物品的定位和位置。不一致的结果使得此类系统无效。

发明内容

下文提及的所有示例和特征可以以任何技术上可能的方式组合。

在一个方面，本发明涉及一种对象识别系统，该对象识别系统包括图像传感器，该图像传感器被配置为捕获设置在被指定用于保持对象的区域中的对象的图像；深度神经网络，该深度神经网络被训练以检测和识别图像中的对象，如保持在指定区域中的那些对象；以及控制器，该控制器与图像传感器通信以接收由图像传感器捕获的图像并且控制器与深度神经网络通信。该控制器包括一个或多个处理器，该一个或多个处理器被配置为注册访问被指定用于保持对象的区域的人员的身份；将图像提交到深度神经网络；使人员的所注册的身份与提交到深度神经网络的图像中检测到的对象相关联；如果深度神经网络不能识别所提交的图像中检测到的对象，则使用所提交的图像来重新训练深度神经网络；并且在所检测的对象位于被指定用于保持对象的区域中时，跟踪所检测的对象的位置。

该控制器可被进一步配置为响应于深度神经网络不能识别所提交的图像中的所检测的对象而采集所检测的对象的标记信息；使标记信息与提交到深度神经网络的图像的版本相关联；并且将图像的该版本和相关联的标记信息存储在用于重新训练深度神经网络的图像数据库中。人类输入采集模块可被配置为当深度神经网络不能识别所提交的图像中的图像中的所检测的对象时，响应于来自控制器的请求而从用户采集标记信息。

该控制器可被进一步配置为如果深度神经网络不能识别所检测的对象，则找出图像内出现变化的区域；产生聚焦于变化区域的图像的版本；并且将图像的该版本提交到深度神经网络以确定深度神经网络是否能够识别图像的第二版本中的所检测的对象。该控制器可被进一步配置为不论深度神经网络是否识别图像的提交版本中的所检测的对象，都采集所检测的对象的标记信息；使所采集的标记信息与提交到深度神经网络的图像的版本相关联；并且将图像的该版本和相关联的标记信息存储在用于重新训练深度神经网络的图像数据库中。另外，该控制器可被进一步配置为当深度神经网络识别图像的提交版本中的所检测的对象时，从深度神经网络采集标记信息。

该深度神经网络可为第一深度神经网络，并且该系统还可包括第二深度神经网络，该第二深度神经网络被配置为与第一深度神经网络并行地操作。第一深度神经网络和第二深度神经网络中的每一者基于从图像获得的图像数据来产生输出，其中由第一深度神经网络获得的图像数据不同于由第二深度神经网络获得的图像数据。

对象识别系统还可包括深度传感器，该深度传感器的视场基本上匹配图像传感器的视场。深度传感器采集其视场内的图像的深度像素值，其中当在训练或对象识别期间将图像提交到深度神经网络时，将深度像素值及从由R(红色)、G(绿色)和B(蓝色)组成的组获取的少于三个像素值作为图像数据提交到深度神经网络。

深度神经网络可驻留在远程服务器系统上，并且控制器还可包括网络接口以与服务器系统上的深度神经网络通信。

在另一个方面，本发明涉及一种识别和跟踪对象的方法。该方法包括以下步骤：注册访问被指定用于保持对象的区域的人员的身份；捕获被指定用于保持对象的区域的图像；将图像的版本提交到深度神经网络，该深度神经网络被训练以检测和识别图像中的对象，如保持在指定区域中的那些对象；检测图像的该版本中的对象；使人员的所注册的身份与所检测的对象相关联；如果深度神经网络不能识别所检测的对象，则使用图像的该版本来重新训练深度神经网络；以及在所检测的对象位于被指定用于保持对象的区域中时，跟踪所检测的对象的位置。

该方法还可包括响应于深度神经网络不能识别图像的该版本中的所检测的对象而采集图像的该版本中检测到的对象的标记信息；使标记信息与图像的该版本相关联；并且将所捕获的图像的该版本和相关联的标记信息存储在用于重新训练深度神经网络的图像数据库中。采集在图像的该版本中检测到的对象的标记信息的步骤可响应于深度神经网络不能识别图像的该版本中的所检测的对象，并且包括从用户提供的输入采集标记信息。

该方法还可包括当深度神经网络不能识别在图像的第一版本中检测到的对象时，找出在图像的该版本内出现变化的区域；产生聚焦于找出的变化区域的图像的第二版本；以及将图像的第二版本提交到深度神经网络以确定深度神经网络是否能够识别图像的第二版本中的所检测的对象。该方法还可包括不论深度神经网络是否识别图像的第二版本中的所检测的对象，都采集图像的第一版本中检测到的对象的标记信息；使标记信息与图像的第一版本相关联；以及将所捕获的图像的第一版本和相关联的标记信息存储在用于重新训练深度神经网络的图像数据库中。采集在图像的该版本中检测到的对象的标记信息的步骤可包括在深度神经网络识别图像的该版本中的所检测的对象时从深度神经网络采集标记信息。

将图像的版本提交到深度神经网络的步骤可包括将深度像素值及从由R(红色)、G(绿色)和B(蓝色)组成的组获取的少于三个像素值作为图像数据提交到深度神经网络。

该方法还可包括将从图像的该版本采集的图像数据并行地提交到第一深度神经网络和第二深度神经网络，其中提交到第一深度神经网络的图像数据不同于提交到第二深度神经网络的图像数据。

在另一个方面，本发明涉及传感器模块，该传感器模块包括图像传感器，该图像传感器被配置为捕获其视场内的图像；以及深度传感器，该深度传感器具有基本上匹配图像传感器的视场的视场。深度传感器被配置为采集由深度传感器捕获的图像的估计深度值。传感器模块还包括控制器，该控制器与图像传感器和深度传感器通信以接收与由图像传感器捕获的图像相关联的图像数据和与由深度传感器捕获的图像相关联的估计深度值。该控制器包括一个或多个处理器，该一个或多个处理器被配置为注册访问被指定用于保持对象的区域的人员的身份；将与由图像传感器捕获的图像相关联的图像数据和与由深度传感器捕获的图像相关联的估计深度值提交到深度神经网络，该深度神经网络被训练以检测和识别图像中的对象，如保持在指定区域中的那些对象；使人员的所注册的身份与提交到深度神经网络的图像数据和估计深度值中检测到的对象相关联；并且如果深度神经网络不能识别所检测的对象，则保存由图像传感器和深度传感器捕获的图像的版本以用于深度神经网络的后续重新训练。

该控制器还可包括云接口以通过网络来与深度神经网络通信。

传感器模块还可包括人类输入采集模块，该人类输入采集模块被配置为当深度神经网络不能基于所提交的图像数据和估计深度值来识别所检测的对象时，响应于来自控制器的请求而从用户采集标记信息。

附图说明

通过结合附图参考下面的描述，可以更好地理解本发明的以上和另外的优点，其中在各个附图中，类似的附图标记指示类似的结构元件和特征。附图未必按比例绘制，而是将重点放在说明本发明的原理上。

图1示出了机器学习辅助对象识别系统的实施方案，该机器学习辅助对象识别系统包括控制器和图像传感器，该图像传感器具有被指定用于保持对象的支撑表面的视场。

图2是图1的控制器的实施方案的框图

图3是机器学习辅助对象识别系统的实施方案的功能框图，该机器学习辅助对象识别系统包括与本地机器学习模块通信的人工智能模块。

图4是机器学习辅助对象识别系统的实施方案的功能框图，该机器学习辅助对象识别系统包括与远程机器学习模块通信的人工智能模块。

图5是机器学习辅助对象识别系统的另一个实施方案的功能框图，该机器学习辅助对象识别系统包括与远程机器学习模块通信的人工智能模块。

图6是包括深度神经网络或DNN的对象跟踪模块的实施方案的框图。

图7是计算机视觉模块的实施方案的框图。

图8是用于机器学习辅助对象识别的过程的实施方案的流程图。

图9是用于识别所捕获的图像中的对象的过程和任选的多遍认证过程的实施方案的流程图。

图10是使用DNN最初未识别对象的图像来重新训练DNN的过程的实施方案的流程图。

具体实施方式

本文所述的对象识别系统和方法组合了计算机视觉、机器学习和深度神经网络(DNN)以实现人员和对象的准确识别和跟踪。最初，DNN可为白板(blank slate)并且不能在没有人类辅助的情况下进行对象识别或其可使用一组预先确定的图像来训练以向其给出基线。为了向DNN给出基线对象识别能力，人类必须使用预先确定的图像训练集来训练DNN。在其初始训练之后，DNN识别对象的能力会因后续训练而连续地提高。这些后续训练基于DNN最初不能识别对象的图像。这些图像中的对象已变得可识别，并因此对于重新训练DNN是有价值的，这是由于人类提供的信息识别图像中的对象或由于多重认证过程使DNN的检测工作集中于图像中已检测到变化的区域。

图1示出了具有至少一个传感器模块102的机器学习辅助对象识别系统100的实施方案。每个传感器模块102包括控制器104，该控制器与一个或多个彩色(例如，RGB)图像传感器106、任选地(如以虚线示出)一个或多个深度传感器108和光源110以及任选地无线射频(RF)收发器(未示出)通信。控制器104实现用于对象识别的深度神经网络(DNN)112和用于检测图像中的变化的计算机视觉模块114，如随后更详细描述的。

在一个实施方案中，每个传感器模块102是能够注册访问对象保持区域的人员、捕获图像、图像处理、检测对象、机器学习辅助自改进对象识别、对象跟踪和在如此配置时提供光引导的自备式电子单元。在其他实施方案中，这些功能中的一个或多个功能远程地(即，不在传感器模块处)进行；例如，对象检测、机器学习辅助自改进对象识别和对象跟踪的功能可在传感器模块通过网络来与之通信的远程计算站点处进行。

传感器模块102可部署在对象保持区域中的支撑表面116附近的固定位置中，或其可为移动的，在移动设备中体现。作为固定部署的示例，传感器模块102可以以监视配置从天花板垂下，使得企业站点的所有角落都被覆盖。这些传感器模块较小且是非介入式的，并且可在整个企业中跟踪个人的识别和路径，例如如2018年6月14日公布的美国专利公布号US-2018-0164112-A1中所述，该申请的全文以引用方式并入本文。

传感器模块的移动实施方案包括但不限于智能电话、平板计算机、可穿戴计算设备或任何其他便携式计算设备，它们被配置有一个或多个处理器、RGB相机、无线通信能力、任选的深度传感器、任选的光源以及用于执行本文所述图像处理、对象检测、跟踪和识别、自改进机器学习和任选的光引导功能的软件。该软件可以在可存储在移动设备上的下载的应用程序(应用)中体现。由于是便携式的，人员或机器实际上可携带能够识别由移动设备的相机捕获的对象的对象识别设备。例如，带有这种设备的人员可运行该软件，接近保持各种对象的桌子(即，支撑表面)，将该设备(即，其相机)指向每个对象，捕获对象的图像，并且被告知对象的类型(身份)。为了获得对象的身份，移动设备可与托管DNN的远程服务器通信，从而将图像发送到远程服务器并且接收对象的身份。

每个图像传感器106(其在本文中也可称为光学传感器)提供颜色信息；每个深度传感器108提供所捕获的图像的每个像素的估计深度。图像传感器106和深度传感器108可在单个相机诸如微软公司(Microsoft)的Kinect^TM中体现，或可在各单独相机中体现。图像传感器和任选的深度传感器被设置成面向支撑表面116。支撑表面的示例包括但不限于桌面、桌子、架子和地板空间。一般来讲，支撑表面设置在对象保持区域中或对象保持区域处。对象保持区域可为例如超市、仓库、库存、房间、壁橱、门厅、橱柜、储物柜，它们各自具有或没有安全入口。所识别和跟踪的对象的示例包括但不限于包装、包裹、盒子、装备、工具、食物产品、瓶、玻璃罐和易拉罐。(也可识别和跟踪人。)每个图像传感器106具有覆盖支撑表面116所占据的一部分或全部区域的视场(FOV)；任选的深度传感器的视场至少匹配图像传感器的视场。每个单独传感器具有其自身关于该区域和放置在支撑表面116上的对象的视角。

控制器104可被配置为控制光源110以向位于支撑表面116上的对象或向支撑表面的某些区域提供光引导，具体取决于所关注的对象或区域。光源110的示例包括但不限于激光器、投影仪、LED、灯泡、闪光灯和灯。光源110可设置在支撑表面116上或远离并指向该支撑表面。

显示器118可包括在对象识别系统100中，以提供例如支撑表面上的对象的可视化布局、至该表面上的对象或区域的视觉引导以及供进入并离开对象保持区域的人员使用的用户界面。显示器118可方便地位于保持区域的界线处或位于保持区域内。显示器118可为被配置有输入/输出设备(例如物理或虚拟键盘、小键盘、条形码扫描仪、麦克风、相机)的电子设备(例如计算机、智能电话、移动设备)的一部分，并且可用于注册进入对象保持区域的人员的身份和/或扫描对象标签。

控制器104还可通过网络连接来与一个或多个服务器120(即，服务器系统)通信。这些服务器120可执行第三方服务，诸如“云服务”，或可在企业本地或现场实现。如本文所用，“云”是指在远程网络(诸如互联网)上而非在传感器模块或本地计算机处运行的软件和服务。云可为公共的、私有的或它们的组合。适用于本文所述原理的云服务的示例是由华盛顿州雷德蒙德(Redmond,WA)的微软公司

提供的Azure^TM云服务。服务器120可运行虚拟机，该虚拟机提供传感器模块102所需的云服务。

在对象识别系统100的操作期间，人员到达对象保持区域以执行至少四种对象处理活动中的任何一种或多种，该至少四种对象处理活动包括存放对象、移除对象、将对象移动到保持区域中的另一个地点或向人员警示对象需要检查。一般来讲，对象识别系统注册到达保持区域(即，与对象识别系统交互)的人员的身份并且使每个所注册的人员与该人员正处理的一个或多个对象相关联。使用图像处理技术，对象识别系统连续地监测和采集保持区域的实时图像数据。从实时图像数据，对象识别系统检测每个此类对象何时放置在支撑表面116上、移动到支撑表面的另一个区域或从支撑表面移除。用于检测和跟踪设置在保持区域中的支撑表面上的对象的技术可见于2016年4月5日提交的名称为“包装跟踪系统和方法(Package Tracking Systems and Methods)”的美国专利申请号15/091,180，该专利申请的全文以引用方式并入本文。另外，对象识别系统可识别易腐物品并且向员工发送其到期的通知。或对象识别系统可识别架子上的受损商品并且相应地通知员工。响应于这些通知，员工即可检查有关物品以在超过其到期日期时移除或确认包装破损的程度。

对象识别系统还识别支撑表面上或涉及处理活动的每个对象。对象识别用于识别所检测和跟踪的对象的类型(例如来自某承运人的包装、一瓶泡菜、显微镜)。此类对象识别可涉及人类互动以首先识别或者确认、纠正或微调给定对象的识别。对象识别系统采用机器学习技术来提高其对象识别能力。给定对象的识别可有利于在该对象位于保持区域中时跟踪该对象，从而用于确认该对象的存在或移动。

有时，传感器模块102将捕获对象识别降至低于阈值(即，对象识别系统不能识别图像中的对象)的图像。尽管不能识别该对象(至少在最初阶段)，对象识别系统仍可基于该对象的视觉特性来跟踪该对象，即，其在保持区域内的初始布置和任何后续位置。保留不可识别的图像以用于DNN 112的随后重新训练的目的，使得在该对象存在于后续处理的图像中时，DNN将变得能够识别先前不可识别的对象。通过语音识别、手势识别或键盘输入来与对象识别系统进行的人类互动可特别地识别不可识别的图像中的对象，从而向该图像给出适当标签。手势识别的示例是某人举起三根手指以将该对象识别为类型编号3，其中对象识别系统已存储三指手势与特定对象的关联(例如，三根手指对应于显微镜)。在先前不可识别的图像中的对象借助于人类输入而被识别之后，将图像和相关联的适当标签存储在图像数据库122中。对象识别系统100使用这些存储的图像和标签来重新训练深度神经网络112。通过使用先前不可识别的图像(现已通过人类提供的信息使之可识别)重新训练深度神经网络，神经网络112逐渐变得“更智能”。随时间推移，神经网络识别随后捕获的图像中的对象的概率接近百分之百。

图像数据库122可保存在本地存储器124中，通过传感器模块102附近的中央计算机126来访问。在该实施方案中，中央计算机126提供对所有部署的传感器模块102的图像数据库122的访问。在图1中以虚线示出的另一个实施方案中，图像数据库122存储在远程存储器128中，例如存储在“云”中，每个传感器模块102通过服务器120来与该远程存储器通信。除了这些最初不可识别的图像之外，图像数据库122还保持图像的初始训练集。

图2示出了图1的控制器104的实施方案。控制器104包括一个或多个处理器200，该一个或多个处理器的示例包括但不限于图像处理器、中央处理单元、图形处理单元，它们各自具有标准或定制设计。该一个或多个处理器200与存储器202通信。在多个处理器200的情况下，此类处理器可位于不同位点(例如，一个处理器在本地设置(即，在传感器模块处)并且另一个处理器远程地设置(例如，在“云”中)。类似地，存储器202可在本地设置、远程地设置或它们的组合。

该一个或多个处理器200与视频接口204、任选的光源接口206、任选的音频接口208、网络接口210以及I/O部件(例如显示器118)的接口212通信。通过视频接口204，控制器104与传感器模块102中的每个图像传感器106和深度传感器108(如果有的话)通信；通过光源接口206，控制器104控制光源110的激活，并且根据光源的类型，控制所发射的光束的指向方向；通过音频接口208，控制器104与捕获或播放声音的音频设备通信。

除了常规软件(诸如操作系统和输入/输出例程)之外，存储器202还存储用于将该一个或多个处理器200配置为实现深度神经网络(DNN)112并且执行人员注册214、图像中的对象检测216、保持区域中的对象跟踪218、图像中的对象识别220、神经网络训练222、图像预处理224、图像中的变化跟踪226以及任选地光引导228的程序代码。该一个或多个处理器200和存储器202可在单个或多个集成电路(IC)设备上一起或单独地实现。另外，存储在存储器202中的程序代码可驻留在不同位点。例如，用于实现DNN 112的程序代码可驻留在远程位置处(例如，云上)，而用于用户识别的程序代码可在本地(即，在传感器模块上)驻留和执行。

简言之，用于人员注册214的程序代码记录使用对象识别系统100的个人的身份和活动并且使此类个人与他们影响的对象相关联；用于对象检测216的程序代码使用图像处理技术来检测图像中的对象的存在；用于对象跟踪218的程序代码跟踪保持区域内的所检测的对象的位置，用于对象识别220的程序代码采用DNN 112来识别(即，确定或分类)图像中的对象；用于神经网络训练222的程序代码训练DNN 112以变得能够识别特定类型的对象；用于图像预处理224的程序代码将图像编辑技术应用于所捕获的图像以改进此类图像中的对象检测和识别工作；用于变化跟踪226的程序代码检测图像中的变化并且辅助标记图像；并且任选地，用于光引导228的程序代码使用光源110将人类引导到对象保持区域中的对象和/或位置。如随后更详细描述的，控制器104的各种元件或功能可远程地驻留；即，在一些实施方案中，控制器104的一些元件或功能不是传感器模块102(图1)的一部分，而是远程地(例如，在“云”中)驻留。

图3示出了对象识别系统100的实施方案的功能框图，该对象识别系统包括与机器学习模块302通信的人工智能(AI)模块300。AI模块300包括图像采集模块304、图像预处理模块306、对象跟踪模块308、人类输入采集模块310和跟踪质量测量模块(QMM)312。机器学习模块302包括本地存储器124(其保持结合图1描述的图像数据库122)和深度神经网络(DNN)训练器314。

AI模块300的图像采集模块304被配置为从图像传感器106和任选的深度传感器108采集图像。所捕获的图像传递到图像预处理模块306，并且图像预处理模块306将这些图像转发到对象跟踪模块308。图像预处理模块306将每个图像(线316)发送到计算机视觉模块114并且将该图像的副本(线318)发送到DNN 112(另选地，计算机视觉模块114接收该图像的该副本。

一般来讲，对象跟踪模块308被配置为检测图像中的对象，跟踪此类对象，并且使用图1的DNN 112来执行对象识别。对象跟踪模块308所产生的结果(线320)传递到跟踪QMM312，该跟踪QMM使用阈值(或其他标准)来确立是否已在图像中识别对象。所述结果包括两种类型的信息：1)DNN认为已找到对象的图像中的区域(或多个对象的区域，具体取决于图像)；以及2)每种类型的对象被认为位于该一个或多个区域中的概率的列表。

基于从对象跟踪模块308接收到的信息，QMM 312确定DNN 112是否成功识别图像中的一个对象(或多个对象)。如果成功，则QMM 312发信号通知(线322)成功。控制器104可接收该成功信号并且相应地对该信号作出响应，具体取决于试图确定对象的识别的终端用户应用程序，诸如包装跟踪应用程序。

如果对象在图像内不可识别，则QMM 312通知(线324)计算机视觉模块114。计算机视觉模块114任选地将图像发送(线326)到DNN 112；该图像从原始图像导出并且聚焦于原始图像中检测到变化的区域。DNN112可试图识别该聚焦图像中的对象(线326)，即，DNN 112执行第二遍。如果DNN在第二遍期间未成功，则QMM 312向人类输入采集模块310发送请求(线327)，从而寻找原始图像中的不可识别的对象的标记信息。不论DNN 112识别该聚焦图像中的对象成功还是失败，计算机视觉模块114都将最初未在其内识别对象的原始图像发送(线328)到本地存储器124。将所存储的图像与来自人类输入采集模块310的人类提供的标签(线332)或与由DNN 112(线320)产生、发送到QMM 312并随后由QMM 312转发的标签(线334)连接/相关联(框330)。DNN训练器314使用本地存储器124中的那些图像及其相关联的ID信息(即，标签)来重新训练(线336)DNN 112。

每个传感器模块102(图1)可被配置为在本地提供AI模块300的功能，并且中央计算机126(图1)被配置为提供机器学习模块302的功能。每个传感器模块102(图1)与中央计算机126通信，该中央计算机基于图像数据库122中的图像来提供DNN训练。因此，不同传感器模块将形成等同图像识别能力。

图4示出了对象识别系统100的另一个实施方案的功能框图，该对象识别系统具有与机器学习模块402通信的人工智能(AI)模块400。一般来讲，图4的对象识别系统与图3的对象识别系统的不同之处在于机器学习模块402远程地驻留，即，驻留在云中或互联网上的网络上。另外，在该实施方案中，远程机器学习模块402包括DNN 112。因此，DNN计算在远程服务器(例如图1的服务器120)上进行，例如由第三方云服务执行。

具体地讲，AI模块400包括图像采集模块304(图3)、图像预处理模块306(图3)、对象跟踪模块404、人类输入采集模块310(图3)和跟踪QMM 312。对象跟踪模块404包括计算机视觉模块114和云接口模块406。远程机器学习模块402将图像数据库122(图1)保持在云(即，远程)存储器128中并且包括DNN 112和DNN训练器314，该DNN训练器用于训练和重新训练(线336)DNN 112。

计算机视觉模块114、图像采集模块304、图像预处理模块306、对象跟踪模块404、人类输入采集模块310、跟踪QMM 312、云(即，远程)存储器128、DNN训练器314和DNN 112以与其在图3中的对应模块类似的方式操作。差异在于AI模块400使用其云接口模块406来将从图像采集模块304接收到的图像通过网络传输到远程机器学习模块402，以便由DNN112用于其对象检测、跟踪和识别算法。对于图像采集模块304和计算机视觉模块114，云接口模块406实际上是“虚拟DNN”，其从这两个模块304、114接收输入，就好像其是DNN，并且将此类输入转发(线408)到远程地驻留的DNN 112。因此，远程服务器120上的处理器执行DNN计算。另外，机器学习模块402被配置为将DNN 112所产生的结果返回(线320)到AI模块400的云接口模块406。云接口模块406将这些结果转发(线410)到QMM 312，该QMM从这些结果确定DNN112是否已识别该图像中的对象。

如果QMM 312确定DNN 112成功识别图像中的一个对象(或多个对象)，则QMM 312发信号通知(线322)成功。如果对象在图像内不可识别，则QMM 312通知(线324)计算机视觉模块114。计算机视觉模块114任选地将图像发送(线326)到云接口414，以便传输到远程DNN112。该图像从原始图像导出并且聚焦于计算机视觉模块114在其中检测到变化的原始图像中的区域。DNN 112可试图识别该聚焦图像中的对象。如果DNN在第二遍期间进行了尝试但未成功，则QMM 312向人类输入采集模块310发送请求(未示出)，从而寻找原始图像中的不可识别的对象的标记信息。

不论DNN 112在DNN的第二次尝试期间识别该聚焦图像中的对象成功还是失败，计算机视觉模块114都将原始图像(或原始图像的编辑版本)转发(线328)到云存储器128。将待存储的图像与人类输入采集模块310所采集的人类提供的标签(线332)(在DNN失败的情况下)或与在第二遍成功时由DNN 112产生并由QMM 312转发的标签(线320)(在DNN成功的情况下)连接或相关联(框330)。DNN训练器314使用远程存储器128中的那些图像及其相关联的ID信息(即，标记信息)来重新训练DNN 112。

每个传感器模块102(图1)可被配置为在本地提供AI模块400的功能，并且服务器系统120(图1)被配置为提供机器学习模块402的功能。在该实施方案中，与远程机器学习模块402通信的所有传感器模块102共享DNN 112和图像数据库122并且贡献图像以用于DNN112的未来重新训练。一般来讲，通过访问相同图像数据库122和DNN 112，所有传感器模块将形成等同图像识别能力。

图5示出了对象识别系统100的另一个实施方案的功能框图，该对象识别系统具有与机器学习模块502通信的人工智能(AI)模块500。每个传感器模块102(图1)可被配置为在本地提供AI模块500的功能，并且服务器系统120(图1)被配置为提供机器学习模块502的功能。一般来讲，图5的对象识别系统与图4的对象识别系统的不同之处在于图4中的AI模块400的某些功能远程地进行。具体地讲，图像预处理模块306、对象跟踪模块308和QMM 312是远程机器学习模块502的一部分，该远程机器学习模块还包括DNN 112、远程存储器128和DNN训练器314。AI模块500包括云接口504、图像采集模块304和人类输入采集模块310。云接口504与图像采集模块304通信以将从其接收到的输入图像转发(线450)到远程图像预处理模块306。当DNN 112能够识别输入图像中的一个或多个对象时，云接口504还从远程QMM312接收成功结果指示符及结果(线322)；云接口504输出结果以供对象识别系统100的应用程序使用。

如果对象在图像内不可识别，则QMM 312发信号通知(线324)计算机视觉模块114。响应于“DNN失败”信号，计算机视觉模块114可将从原始图像(或其编辑版本)导出并聚焦于计算机视觉模块114在其中检测到变化的原始图像中的区域的图像发送(线326)到DNN 112以试图识别该聚焦图像中的对象，从而实际上在认证时执行第二遍。DNN 112将该第二次尝试的结果发送(线320)到QMM 312。

不论DNN 112在第二次尝试期间识别聚焦图像中的对象成功还是失败，远程计算机视觉模块114都将DNN 112最初不能在其中识别对象的原始图像(或其编辑版本)转发(线328)到云存储器128。

如果对象在该聚焦图像内不可识别，则QMM 312发信号通知AI模块500(线327)，告诉AI模块500请求人类输入。当人类输入采集模块310接收到人类输入时，云接口504将人类输入标签发送(线332)到云存储器128。在存储之前，将人类输入标签(线332)与来自远程计算机视觉模块114的图像组合或相关联(框330)。

如果对象在聚焦图像内可识别，则QMM 312发送由DNN 112产生的标签(线334)，该标签与由计算机视觉模块114发送到云存储器128的图像组合或相关联(框330)。如先前所述，DNN训练器314使用这些图像及其保持在远程存储器128中的图像数据库122中的相关联的标签来重新训练(线336)DNN 112。

图6示出了与图3和图5中所述的对象识别系统的实施方案结合使用的对象跟踪模块600的实施方案，该对象跟踪模块包括图像预处理模块(或图像预处理器)306和计算机视觉模块114。对象跟踪模块600包括DNN112。在DNN 112相对于对象跟踪模块较远(诸如在图4中)的实施方案中，对象跟踪模块600具有云接口模块406(图4)，该云接口模块作为虚拟DNN操作并且与实际DNN通信。

在一个实施方案中，DNN 112具有深度学习架构，例如，具有输入层602、输出层604和多个隐含层(未示出)的深度卷积神经网络。隐含层可包括一个或多个卷积层、一个或多个全连接层和一个或多个最大池化层。每个卷积和全连接层从其前一层接收输入并且基于该层的当前参数值来将变换应用于这些输入。在其上实现深度学习神经网络的示例性架构包括但不限于可在网址pjreddie.com处获得的Darknet开源深度神经网框架和可在网址caffe.berkeleyvision.org处获得的Caffe框架。

DNN 112涉及两个过程：对象检测/识别和训练。为了进行对象检测和识别，从图像采集模块提供图像606，作为DNN 112的输入608。图像606包括彩色图像(例如，RGB)和任选地深度图像。在给定时刻实时地捕获的彩色图像和深度图像被连接为一对。此类图像可穿过图像预处理器306，该图像预处理器基于经处理的图像来产生图像数据608。在图像606传递到DNN之前，图像预处理器306可修改或可不修改图像。在一个实施方案中，图像预处理器306被配置为应用一种或多种图像编辑技术，该一种或多种图像编辑技术被确定为通过使此类图像对光照变化具有稳健性(即，不变)来增强DNN检测图像中的对象的能力。对于RGB而言，一种预处理算法使用一系列步骤来抵消光照变化、局部阴影和高亮的效应。该算法中的步骤包括伽马校正、高斯差分滤波、掩蔽和对比均衡。深度数据可有噪声并且可具有缺失数据，具体取决于捕获深度数据的情况。环境光和高反射表面是噪声和缺失数据的主要因素。该预滤波确保这些伪影被校正并且数据保存完好。预处理步骤包括环境光滤波、边缘保持平滑、高斯模糊和时变模糊。当深度图像和RGB图像均传递到图像预处理器306时，图像预处理器执行混合变换过程，该混合变换过程将RGB数据与深度数据混合以产生图像数据608。混合变换过程的示例包括但不限于拼接混合或交错混合，它们两者均在下文更详细描述。

图像数据608传递到DNN 112的输入层602。(尽管图6中未示出，但是通过人类互动获得的任何标签信息也传递到输入层602以用于训练、对象识别或两者)。图像预处理器306和计算机视觉模块114均被配置为向DNN 112提供图像数据608。图像数据608包括从彩色图像采集的每个RGB(红色、绿色、蓝色)和任选地从深度图像获取的D(深度)的像素值。图6示出了拼接混合，其中每个颜色和像素值具有其自身通道，并且通过拼接这些通道来将RGB图像与深度图像混合。在提交D值的这些实施方案中，可提交少于全部的颜色值R、G或B。例如，R+D、G+D、B+D、R+G+D、R+B+D、G+B+D是将少于全部三种颜色(RGB)值作为输入与D值一起提交的实例，每个提交的值具有其自身通道。

另选地，交错混合可将RGB图像与深度图像混合。在该混合技术中，并不拼接RGB和深度图像并获得通道，而是以保留原始结构的方式混合这两个图像的通道，即，所得图像中的通道的数量在混合后不会从原始RGB图像中的通道数量增加。一个此类示例如下：

考虑8位3通道RGB图像，即，R-通道具有8位，G-通道具有8位，并且B-通道具有8位。此外，考虑深度图像是16位数据的单通道；即，D-通道具有16位。

从多个维度(即，通道)获得数据并且将数据打包进更少维度(即，通道)中的一种方法是莫顿数交错。

例如，[255,125,0]的颜色像素值[R,G,B]具有[11111111,01111101,00000000]的8位二进制表示，其中这三个8位值分别表示这三个8位R、G和B通道。

对于16位深度值而言，导出三个8位值。第一个8位值(称为D1)需要将16位值转换为8位值。该转换通过以下方式进行：使16位深度值的十进制等效值归一化并且将该归一化的值乘以8位数的最大值(即，255)。例如，考虑具有[1465]十进制值的原始16位深度值[D]。使该十进制值[1465]归一化需要将该十进制值除以可由16位(即[65025])表示的最大十进制值。因此，D1的相乘、归一化十进制值＝(1465/65025)*255＝6(向上舍入)。D1的8位二进制表示是[00000110]。

通过将原始16位深度值[D]分割成两个8位字节(称为D2和D3)来获得接下来的两个字节。例如，先前指出的[1465]的16位深度值[D]具有[0000010110111001]的二进制表示。8位D2字节对应于16位深度值[D]的第一个字节(即，[00000101])，并且8位D3字节对应于16位深度值[D]的第二个字节(即，[10111001])。因此，[D2,D3]＝[00000101,10111001]。

从原始深度值[D]导出的这三个字节[D1,D2,D3]是[00000110,00000101,10111001]。如先前所提及，3通道8位RGB值是[11111111,01111101,00000000]。

莫顿序交错通过以下方式从深度值字节[D1,D2,D3]的三个通道和RGB值[R,G,B]字节的三个通道产生16位、3通道图像：按照如下这样将深度值附加到RGB值：[RD1,GD2,BD3]。就先前示例而言，莫顿序交错产生[1111111100000110,0111110100000101,0000000010111001]的三个16位通道。该技术对对应图像606(即，RGB图像及其相关联的深度图像)的每个像素执行。结果是具有深度和颜色信息的3通道图像。应当理解，莫顿序交错仅仅是用于使给定像素的深度数据与颜色数据交错的技术的一个示例；可在不脱离本文所述原理的情况下采用其他交错技术。

与拼接混合技术一样，可将少于全部的颜色值R、G或B与深度值交错。例如，R+D、G+D、B+D、R+G+D、R+B+D、G+B+D是将少于全部三种颜色(RGB)值作为输入与D值一起提交的实例。在这些情况下，颜色和深度的每次交错都有单独通道。当使用少于三个RGB通道时，D1、D2、D3深度通道中的任何一者可用于交错。例如，诸如R+D、G+D和B+D之类的组合各自仅需要一个通道；诸如R+G+D、R+B+D、G+B+D之类的组合各自具有两个通道。如果仅使用一个RGB通道，则D1是优先选择，因为D1深度通道包含全部深度信息。如果使用两个颜色通道，则两个深度通道用于交错：例如，D2和D3(D2和D3一起具有全部深度信息)。为了进行说明，再次使用[255,125,0]的颜色像素值[R,G,B]和[1465]的原始深度值，R+G+D的组合产生以下16位2通道[RD2,GD3]输入数据：[1111111100000110,0111110100000101]，其中D2和D3是所选择的深度通道。一般来讲，实现对象检测的能力会因具有更多而不是更少可用信息而受益；因此，拼接混合(其保留所有可用颜色和潜在深度数据)可产生比交错混合更好的检测结果，交错混合减少通道的数量并且可使用少于全部的颜色和深度。在提到训练速度时，交错混合可比拼接混合更有利。

输出层604产生输出320，该输出可经由云接口406(图4)传递到QMM。输出320可包括所分析的图像中检测到的对象的标签、对象位于图像中的指示以及表示准确识别的概率(即，置信水平)的值。

DNN 112还与DNN训练器通信以便接收用于重新训练的参数值更新。

在一个实施方案中，DNN 112由并行地操作的两个深度神经网络(未示出)构成。一个神经网络接收R、G和B像素值，而另一个神经网络接收R、G、B和D值。每个神经网络试图基于所提交的图像数据608来识别所提供的图像中的一个或多个对象。每个神经网络产生输出。可将这两个输出进行比较和/或组合，以便确认和/或增强彼此的确定。例如，考虑RGB神经网络产生已在图像的特定区域中检测到一个包装的结果并且RGBD神经网络产生已在相同特定区域中检测到两个包装的结果。这两个神经网络(和逻辑电路)的概率的比较将声明解决该差异并将结果最终确定为一个包装或两个包装。

计算机视觉模块114与QMM通信以在DNN 112未能成功识别图像中的对象的情况下接收“DNN失败”信号。在接收到这种信号时，计算机视觉模块114输出(线328)与DNN不能在其中识别对象的原始图像相对应的图像。该图像可与人类所提供的标记信息332相关联(例如，响应于在DNN的对象识别失败时来自AI模块的提示)。标记信息和图像的该组合610传递到存储器，其在此变成图像数据库122的一部分。另选地，该组合610包括在DNN在第二遍期间成功识别对象时来自(线334)QMM 312(由DNN 112产生)的图像和标记信息。

图7示出了计算机视觉模块114的实施方案。一般来讲，图像采集模块可捕获具有DNN 112作为输入所需要的更高分辨率的图像。例如，图像采集模块可采集3840×2160个像素的图像606-1，而DNN 112需要416×416个像素的图像(例如，在基于所需的计算速度时)。因此，图像预处理模块306对原始图像606-1进行下采样以产生尺寸调整的图像606-2，该尺寸调整的图像匹配DNN 112的输入分辨率。DNN 112试图检测尺寸调整的图像606-2中的一个对象或多个对象并且将结果发送到QMM 312。该QMM从这些结果确定DNN 112是否已成功检测到图像中的一个或多个对象。

另外，图像预处理模块306将原始图像606-1和尺寸调整的图像606-2发送到计算机视觉模块114。计算机视觉模块114包括与变化定位模块702通信的变化跟踪模块700。在一个实施方案中，当DNN 112未能检测到图像606-2中的对象时，计算机视觉模块114执行多遍认证过程。在对象检测未成功的情况下，该QMM发信号通知变化跟踪模块700，作为响应，该变化跟踪模块执行变化跟踪程序代码226(图2)以识别原始图像606-1中出现变化(相对于早先捕获的图像)的区域704。

变化定位模块702使用该信息来产生图像606-3，该图像聚焦于原始图像中具有所检测的变化的区域704。聚焦图像606-3具有匹配DNN 112的输入分辨率的分辨率。为了获得该分辨率，变化定位模块702可必须减小或增大变化区域704的尺寸。聚焦图像606-3传递到DNN 112，该DNN试图检测该图像中的对象。计算机视觉模块114将尺寸调整的图像606-2发送到存储器(本地或远程)并且标记聚焦区域704的边界，因为这些边界转换为尺寸调整的图像606-2。边界信息包括尺寸调整的图像606-2内的相关区域的行、列、高度和宽度。

在该存储器内，尺寸调整的图像606-2与人类输入所提供的标签名称(在DNN未能识别聚焦图像606-3中的对象时)或与DNN 112所产生的标签(在DNN成功识别聚焦图像606-3中的对象时)相关联。尺寸调整的图像606-2、标记的边界和标签信息一起用于DNN 112的后续重新训练。

图8示出了根据本文所述的原理的用于对象跟踪的过程800的实施方案。人员进入(步骤802)被指定用于保持对象的区域。这种区域可为例如用于储存包装的房间或保持谷物盒或蛋黄酱罐的架子。

对象识别系统100注册(步骤804)该人员的识别。该注册可自动地进行，即，无需该人员的有意识参与。例如，传感器模块102可与该人员所携带的设备(诸如钥匙链或智能电话)无线地通信。另选地，控制器104可执行面部识别。作为用于获得该人员的识别的技术的其他示例，该人员可有意地识别其自己，诸如提供用于扫描的名牌，输入PIN码或密码，提交生物特征信息(例如，指纹或视网膜扫描)，说话以允许语音识别。在另一个实施方案中，对象识别系统100使用骨骼跟踪(即，该个人的骨骼结构)来识别该个人并且注册骨骼结构。除了注册该人员之外，对象识别系统100还可记录该人员到达保持区域的时间。

在步骤806处，对象识别系统100使该人员与保持区域中的一个或多个对象相关联。该关联可直接从用户输入进行，或基于用户所执行且该系统所观察的活动来间接进行。作为直接关联的示例，该系统可明确请求该人员提供关于访问目的(诸如存放或移除对象)以及该目的所涉及的每个对象的身份的信息。该人员可通过多种输入技术来提供该信息，例如扫描待存放的包装上的标签。另选地，该人员可通过键入该对象的名称或与该系统对话(该系统使用语音识别和语音转文字技术)来识别该对象是什么。在接收到关于每个受影响的对象的信息之后，该系统使该对象与所注册的人员的身份相关联。

作为间接关联的示例，对象识别系统100可检测该人员在保持区域中执行的活动。例如，通过图像处理，该系统可检测到对象已放置在架子上或从架子移除，然后使新放置的对象或移除的对象与所注册的人员的身份相关联。

在步骤808处，对象识别系统100试图识别该对象是什么。识别可由用户直接向该系统提供的信息得到，例如在用户输入“物品是显微镜”时；例如，从先前的确定，该系统检测到具有已知身份的对象的移除；或例如，从对象识别，该系统对新检测的对象的图像执行其对象识别算法。在一个实施方案中，该系统自动地请求人类互动，即，要求人类识别对象是被存放、移动还是移除。这种请求可在该系统尝试其自身的对象识别之前、期间或之后进行。

请求人类互动的决策可基于控制器104在其试图从所捕获的图像进行对象识别时导出的阈值。例如，如果在步骤810处，该阈值超过第一(例如上限)阈值，则该系统认为已以高置信度识别对象并且可省掉人类互动；如果该阈值小于第一阈值但大于第二(例如下限)阈值，则该系统认为已识别对象，但置信度为中等；如果该阈值降至低于第二阈值，则该系统推断其尚未识别该图像中的任何对象。该系统可在所确定的阈值低于上限阈值但高于下限阈值时请求该人员确认或纠正(步骤812)该系统的识别，并且在所确定的阈值低于下限阈值时请求(步骤814)该人员提供识别。可在不脱离本文所述原理的情况下使用少于或多于两个阈值。此外，该系统即使该阈值超过上限阈值，也请求确认，或在对象识别不明确、不正确或不成功的情况下请求对象的身份。

该人员在保持区域中的活动可改变支撑表面上的对象的布局。已放置新对象，已移除对象，已将对象移动到另一个位置，或它们的任何组合。这些对象的新布置相对于一个或多个传感器模块的图像和深度传感器产生不同视角以及变化的角向不规则性。机器学习不仅通过颜色和深度两者学习对象外观如何，而且其现已可学习在对象放置在该区域中的不同位置中时每个对象上的各种视角。该机器学习补偿图像传感器所见的对象的动态视角，并且学习在对象放置在观察区域内的不同区域中且处于架子中的不同角度、深度时所识别的对象可如何为相同对象。因此，图像传感器此时捕获的图像提供了通过机器学习技术来改进对象识别的机会。该系统使用那些新捕获的图像来重新训练神经网络，对于那些新捕获的图像而言，神经网络不能识别该对象(至少在最初阶段)并且需要由用户或由神经网络在多遍认证期间提供的关于该对象的标记信息。该系统还可在该人员离开保持区域时记录该人员的离开时间，然后使该人员的到达时间和离开时间与该对象相关联。

将以下说明考虑为对象识别系统100的一个实施方案的操作的示例。Alice进入有若干架子的房间。她携带着显微镜和智能电话。智能电话正运行蓝牙

控制器104与智能电话连接并通信以将该人员的身份确立为Alice。另外，该控制器确立Alice进入房间的时间，例如为2019年4月16日周四下午1:42。Alice将该显微镜放置在其中一个架子上。通过图像传感器所捕获的图像的图像处理，该控制器检测该对象及该显微镜的位置。另外，该控制器可采用机器学习将该对象识别为显微镜。该控制器可要求Alice确认其确定，即该控制器是否已正确识别该对象。如果该控制器不能识别该放置的对象，则该控制器可要求Alice识别该对象，她可电子地或口头地输入该对象，具体取决于对象识别系统的配置。另选地，该系统可被配置为向Alice询问该对象的身份，而不考虑其自身对该对象的识别。然后该系统可在本地或在服务器上远程地、立即或随后使用所捕获的显微镜的图像和Alice提供的信息(如果有的话)来训练其神经网络。Alice随后离开该房间，并且该控制器将离开时间记录为2019年4月16日周四下午1:48。

Bob进入该房间并且使用PIN码将其识别提交到该控制器。该控制器注册Bob和其进入时间，例如为2019年4月16日周四下午2:54。该控制器识别Bob，并且根据其过往实践的模式，识别其经常使用该显微镜。该控制器通过声音或通过显示屏上显示的消息来询问Bob是否正在寻找该显微镜。如果Bob的回答是肯定的，则该控制器使光源照明并且将光束导向到显微镜所在的架子上的位置。Bob从架子移除该显微镜并且带着该显微镜离开了房间。该系统将Bob的离开时间记录为2019年4月16日周四下午2:56，并且记录Bob已取走该显微镜。通过将该显微镜的到达与Alice联系起来、将该显微镜的移除与Bob联系起来、此类操作的时间、该显微镜在此期间的存在(全都通过视频记录来确认)，该系统由此确立该显微镜的监管链。该监管链原理可扩展到其他致力的领域，诸如用于处理证据的过程。在本发明上下文中，监管链意指监管(拥有)序列及进入保持区域、在保持区域内移动和离开保持区域的物理对象的位置的序时记录。对象识别系统知道谁已将某几件证物带入证物房间、从房间取走证物以及在此期间房间内的证物的精确位置，即使已移动到图像传感器能看见的另一个部分。

图9示出了用于识别图像中的对象的过程900的实施方案。在步骤902处，图像采集模块304接收所捕获的图像。任选地，图像预处理模块305编辑(步骤904)该图像，包括降低其分辨率，之后将该图像发送(步骤906)到DNN 112。该DNN试图检测和识别(步骤908)所接收的图像中的对象。

如果QMM 312确定(步骤910)该DNN成功识别该图像中的一个或多个对象，则对象识别系统100使用(步骤912)关于每个所识别的对象的信息，例如用于对象跟踪目的。对象信息的具体用途取决于使用对象识别系统的应用。

相反，如果该QMM确定(步骤910)该DNN在试图识别该图像中的对象时未成功，则AI模块要求(步骤914)人类识别该对象。在人类提供所请求的信息之后，将任选预处理的图像(在步骤904中产生)与人类提供的标记信息一起存储(步骤916)在图像数据库122中，以便随后用于重新训练该DNN。

在图9中以虚线示出的一个实施方案中，AI模块执行(步骤918)结合图7描述的多遍认证过程。如果在步骤920处，该DNN不能在第二遍时识别对象，则AI模块要求(步骤914)人类识别该对象，并且将任选预处理的图像与人类提供的标记信息一起存储(步骤916)在图像数据库122中。另选地，如果在步骤920处，该DNN在第二次尝试时成功识别该图像中的对象，则将任选预处理的图像与DNN提供的标记信息一起存储(步骤916)以便随后用于重新训练该DNN。因此，当该DNN可在第二遍时识别对象的时候，将该图像与该DNN所产生的识别标签一起保存；当该DNN不能在第二次尝试时识别对象的时候，将该图像与人类提供的标签信息一起存储。

图10示出了使用该DNN最初未识别对象的图像来重新训练该DNN的过程1000的实施方案。对象识别系统100周期性地确定将使用存储在图像数据库中的图像来重新训练该DNN。此类重新训练可基于时间表(例如，每晚、每周等)。

为了重新训练DNN 112(图1)，DNN训练器314(例如，图3)在图像数据库122中检索(步骤1002)这些图像。此类图像存储在本地存储器124或远程存储器128中。图像数据库122包含图像的初始训练集和DNN112最初不能在其中识别对象的每个图像。

基于图像数据库中的图像，DNN训练器314运行用于神经网络训练222(图2)的程序代码，该程序代码产生(步骤1004)新神经网络权重文件。新权重文件包含DNN 112的每个“神经元”的加权(即，参数)值。为了更新该DNN，即，为了重新训练该DNN，DNN训练器将该新权重文件发送到该DNN，以便由该DNN应用于其神经元结构以用于后续接收的图像中的对象检测和识别。

一般来讲，DNN训练器为该DNN保持当前权重文件的副本。该DNN的重新训练可整体或部分地进行。当整体地重新训练时，可从头开始训练整个DNN，即，将当前权重文件擦除并更换为新生成的权重文件。就好像该DNN再次为白板并且接受初始训练。该重新训练使用图像的初始训练集以及因最初未被识别而添加到图像数据库的每个附加图像。

当部分地重新训练时，重新训练可聚焦于该DNN的某些层。例如，考虑具有十个隐含层的DNN；可仅对第七、第八和第九隐含层执行重新训练，操作原理是当聚焦重新训练已足够时，避免执行可能很耗时的全DNN训练。在该示例中，仅改变当前权重文件中与第七、第八和第九隐含层的神经元相关联的那些参数。由DNN训练器产生并发送到该DNN的新权重文件是第七、第八和第九隐含层的神经元的新参数值与该DNN的其余部分的旧参数值的混合。

考虑作为操作中的机器学习的示例，Alice将显微镜放置在架子上。在注册Alice时，如果对象识别系统100未识别该对象，则该系统要求Alice识别所放置的对象；她可答复该对象是显微镜。对象识别系统100进一步捕获架子上的该对象的一个或多个图像并且使每个所捕获的图像与Alice所提供的信息(即，该对象是显微镜)相关联。DNN训练器使用每个所捕获的图像和Alice所提供的信息来训练神经网络112。该训练可为该系统用于识别显微镜的初始训练，或累积到该系统的当前能力。在任一情况下，在该训练之后，对象识别系统更适合识别显微镜。

尽管是相对于检测、跟踪和识别对象来描述的，但是本文所述的机器学习技术扩展到检测、跟踪和识别所捕获的图像中的人的面部、骨骼结构、身体位置和移动。按照与使用对象的图像来训练深度神经网络以改进对象识别类似的方式，可使用面部的图像来训练此类网络以便出于用户注册的目的来改进面部识别，并且可使用骨骼特征(诸如双手、双臂和双腿)的图像来训练此类网络以便出于识别和跟踪个人和对象的目的来改进。

如本领域技术人员将理解的，本文所述的系统的各方面可体现为系统、方法和计算机程序产品。因此，本文所述的系统的各方面可在完全硬件中、在完全软件(包括但不限于固件、程序代码、常驻软件、微码)中或在硬件与软件的组合中体现。所有此类实施方案通常可在本文中称为电路、模块或系统。另外，本文所述的系统的各方面可呈其上体现有计算机可读程序代码的一个或多个计算机可读介质中体现的计算机程序产品的形式。

可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读介质可以是非暂态计算机可读存储介质，其示例包括但不限于电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备，或它们的任何合适的组合。

如本文所用，计算机可读存储介质可以是任何有形介质，其可包含或存储程序以供输入、处理和输出指令、命令或数据的指令执行系统、装置、设备、计算机、计算系统、计算机系统或任何可编程机器或设备使用或与之结合使用。计算机可读存储介质的具体示例的非详尽列表包括具有一个或多个导线的电连接、便携式计算机磁盘、软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、USB闪存驱动器、非易失性RAM(NVRAM或NOVRAM)、可擦可编程只读存储器(EPROM或闪存)、闪存卡、电可擦可编程只读存储器(EEPROM)、光纤、便携式光盘只读存储器(CD-ROM)、DVD-ROM、光存储设备、磁存储设备或它们的任何合适的组合。

计算机可读信号介质可包括其中体现有计算机可读程序代码的传播的数据信号，例如在基带中或作为载波的一部分。此类传播的信号可采用多种形式中的任何一种，包括但不限于电磁的、光的或它们的任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以传送、传播或传输程序以供指令执行系统、装置或设备使用或与之结合使用。如本文所用，计算机可读存储介质不是计算机可读的传播信号介质或传播的信号。

程序代码可体现为以例如源代码、目标代码、解释代码、可执行代码或它们的组合的形式存储在计算机可读存储介质上或中的计算机可读指令。可使用任何标准或专有的编程或解释语言来产生计算机可执行指令。此类语言的示例包括Python、C、C++、Pascal、JAVA、BASIC、Smalltalk、Visual Basic和Visual C++。

计算机可读介质上体现的程序代码的传输可使用任何适当的介质进行，包括但不限于无线、有线、光纤电缆、射频(RF)或它们的任何合适的组合。

程序代码可完全地在用户的设备上执行，部分地在用户的设备上执行，作为独立软件包执行，部分地在用户的设备上和部分地在远程计算机上执行，或完全地在远程计算机或服务器上执行。任何此类远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的设备，或可以与外部计算机建立连接(例如，使用ISP(互联网服务提供商)通过互联网)。

另外，本文所述的方法可以在专用计算机、编程微处理器或微控制器和外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连线电子电路或逻辑电路诸如离散元件电路、可编程逻辑设备诸如PLD、PLA、FPGA、PAL等上实现。一般来讲，可使用能够实现状态机(该状态机继而能够实现本文所提出的方法)的任何设备来实现本文所述的原理。

此外，所公开的方法可以容易地使用对象或面向对象软件开发环境在软件中实现，所述环境提供可在多种计算机或工作站平台上使用的可移植源代码。另选地，所公开的系统可以部分或完全地使用标准逻辑电路或VLSI设计在硬件中实现。是使用软件还是硬件来实现根据本文所述原理的系统取决于系统的速度和/或效率要求、特定功能以及所利用的特定软件或硬件系统或微处理器或微计算机系统。然而，本文说明的方法可以容易地由适用领域的普通技术人员根据本文提供的功能性描述及计算机和图像处理领域的一般基础知识、使用任何已知的或以后开发的系统或结构、设备和/或软件在硬件和/或软件中实现。

此外，所公开的方法可以容易地在软件中实现，该软件在编程的通用计算机、专用计算机、微处理器等上执行。在这些情况下，本文所述原理的系统和方法可以实现为嵌入在个人计算机上的程序(诸如

或CGI脚本)，实现为驻留于服务器或图形工作站上的资源，实现为插件等。也可以通过将该系统和方法物理地结合到软件和/或硬件系统中来实现该系统。

虽然已经结合多个实施方案描述了上述原理，但是显然，许多替代形式、修改形式和变型形式对于适用领域的普通技术人员来说都将是或是明显的。对“一个实施方案”或“实施方案”或“另一个实施方案”的引用意指结合该实施方案描述的特定特征、结构或特性包括在本文所述的至少一个实施方案中。对本说明书内的特定实施方案的引用不一定都指同一实施方案。结合一个示例性实施方案示出或描述的特征可以与其他实施方案的特征组合。因此，旨在涵盖处于本文所述原理的精神和范围内的所有此类替代形式、修改形式、等同物和变型形式。

Claims

1.一种对象识别系统，包括：

图像传感器，所述图像传感器被配置为捕获设置在被指定用于保持对象的区域中的对象的图像；

深度神经网络，所述深度神经网络被训练以检测和识别图像中的对象，如保持在所述指定区域中的那些对象；和

控制器，所述控制器与所述图像传感器通信以接收由所述图像传感器捕获的图像并且所述控制器与所述深度神经网络通信，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为注册访问被指定用于保持对象的所述区域的人员的身份；将图像提交到所述深度神经网络；使所述人员的所注册的身份与提交到所述深度神经网络的所述图像中检测到的对象相关联；如果所述深度神经网络不能识别所提交的图像中检测到的所述对象，则使用所提交的图像来重新训练所述深度神经网络；并且在所检测的对象位于被指定用于保持对象的所述区域中时，跟踪所检测的对象的位置。

2.根据权利要求1所述的对象识别系统，其中所述控制器被进一步配置为响应于所述深度神经网络不能识别所提交的图像中的所检测的对象而采集所检测的对象的标记信息；使所述标记信息与提交到所述深度神经网络的所述图像的版本相关联；并且将所述图像的所述版本和相关联的标记信息存储在用于重新训练所述深度神经网络的图像数据库中。

3.根据权利要求2所述的对象识别系统，所述对象识别系统还包括人类输入采集模块，所述人类输入采集模块被配置为当所述深度神经网络不能识别所提交的图像中的所述图像中的所检测的对象时，响应于来自所述控制器的请求而从用户采集所述标记信息。

4.根据权利要求1所述的对象识别系统，其中所述控制器被进一步配置为如果所述深度神经网络不能识别所检测的对象，则找出所述图像内出现变化的区域；产生聚焦于所述变化区域的所述图像的版本；并且将所述图像的所述版本提交到所述深度神经网络以确定所述深度神经网络是否能够识别所述图像的第二版本中的所检测的对象。

5.根据权利要求4所述的对象识别系统，其中所述控制器被进一步配置为不论所述深度神经网络是否识别所述图像的所述提交版本中的所检测的对象，都采集所检测的对象的标记信息；使所采集的标记信息与提交到所述深度神经网络的所述图像的所述版本相关联；并且将所述图像的所述版本和相关联的标记信息存储在用于重新训练所述深度神经网络的图像数据库中。

6.根据权利要求5所述的对象识别系统，其中所述控制器被进一步配置为当所述深度神经网络识别所述图像的所述提交版本中的所检测的对象时，从所述深度神经网络采集所述标记信息。

7.根据权利要求1所述的对象识别系统，其中所述深度神经网络是第一深度神经网络，并且所述对象识别系统还包括第二深度神经网络，所述第二深度神经网络被配置为与所述第一深度神经网络并行地操作，所述第一深度神经网络和所述第二深度神经网络中的每一者基于从所述图像获得的图像数据来产生输出，其中由所述第一深度神经网络获得的所述图像数据不同于由所述第二深度神经网络获得的所述图像数据。

8.根据权利要求1所述的对象识别系统，所述对象识别系统还包括深度传感器，所述深度传感器的视场基本上匹配所述图像传感器的视场，所述深度传感器采集其视场内的图像的深度像素值，其中当在训练或对象识别期间将所述图像提交到所述深度神经网络时，将深度像素值及从由R(红色)、G(绿色)和B(蓝色)组成的组获取的少于三个像素值作为图像数据提交到所述深度神经网络。

9.根据权利要求1所述的对象识别系统，其中所述深度神经网络驻留在远程服务器系统上，并且所述控制器还包括网络接口以与所述服务器系统上的所述深度神经网络通信。

10.一种识别和跟踪对象的方法，所述方法包括以下步骤：

注册访问被指定用于保持对象的区域的人员的身份；

捕获被指定用于保持对象的所述区域的图像；

将所述图像的版本提交到深度神经网络，所述深度神经网络被训练以检测和识别图像中的对象，如保持在所述指定区域中的那些对象；

检测所述图像的所述版本中的对象；

使所述人员的所注册的身份与所检测的对象相关联；

如果所述深度神经网络不能识别所检测的对象，则使用所述图像的所述版本来重新训练所述深度神经网络；以及

在所检测的对象位于被指定用于保持对象的所述区域中时，跟踪所检测的对象的位置。

11.根据权利要求10所述的方法，所述方法还包括：

响应于所述深度神经网络不能识别所述图像的所述版本中的所检测的对象而采集在所述图像的所述版本中检测到的所述对象的标记信息；

使所述标记信息与所述图像的所述版本相关联；以及

将所捕获的图像的所述版本和相关联的标记信息存储在用于重新训练所述深度神经网络的图像数据库中。

12.根据权利要求11所述的方法，其中响应于所述深度神经网络不能识别所述图像的所述版本中的所检测的对象而采集在所述图像的所述版本中检测到的所述对象的标记信息的所述步骤包括从用户提供的输入采集所述标记信息。

13.根据权利要求10所述的方法，其中所述图像的所述版本是所述图像的第一版本，并且所述方法还包括：

当所述深度神经网络不能识别在所述图像的所述第一版本中检测到的所述对象时，找出在所述图像的所述第一版本内出现变化的区域；

产生聚焦于所述找出的变化区域的所述图像的第二版本；以及

将所述图像的所述第二版本提交到所述深度神经网络以确定所述深度神经网络是否能够识别所述图像的所述第二版本中的所检测的对象。

14.根据权利要求13所述的方法，所述方法还包括：

不论所述深度神经网络是否识别所述图像的所述第二版本中的所检测的对象，都采集所述图像的所述第一版本中检测到的所述对象的标记信息；

使所述标记信息与所述图像的所述第一版本相关联；以及

将所捕获的图像的所述第一版本和相关联的标记信息存储在用于重新训练所述深度神经网络的图像数据库中。

15.根据权利要求14所述的方法，其中采集在所述图像的所述版本中检测到的所述对象的标记信息的所述步骤包括在所述深度神经网络识别所述图像的所述版本中的所检测的对象时从所述深度神经网络采集所述标记信息。

16.根据权利要求10所述的方法，其中所述深度神经网络是第一深度神经网络，并且所述方法还包括将从所述图像的所述版本采集的图像数据并行地提交到所述第一深度神经网络和第二深度神经网络的步骤，其中提交到所述第一深度神经网络的所述图像数据不同于提交到所述第二深度神经网络的所述图像数据。

17.根据权利要求10所述的方法，其中将所述图像的版本提交到所述深度神经网络的所述步骤包括将深度像素值及从由R(红色)、G(绿色)和B(蓝色)组成的组获取的少于三个像素值作为图像数据提交到所述深度神经网络。

18.一种传感器模块，包括：

图像传感器，所述图像传感器被配置为捕获其视场内的图像；

深度传感器，所述深度传感器具有基本上匹配所述图像传感器的所述视场的视场，所述深度传感器被配置为采集由所述深度传感器捕获的图像的估计深度值；和

控制器，所述控制器与所述图像传感器和所述深度传感器通信以接收与由所述图像传感器捕获的所述图像相关联的图像数据和与由所述深度传感器捕获的所述图像相关联的估计深度值，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为注册访问被指定用于保持对象的区域的人员的身份；将与由所述图像传感器捕获的所述图像相关联的所述图像数据和与由所述深度传感器捕获的所述图像相关联的所述估计深度值提交到深度神经网络，所述深度神经网络被训练以检测和识别图像中的对象，如保持在所述指定区域中的那些对象；使所述人员的所注册的身份与提交到所述深度神经网络的所述图像数据和估计深度值中检测到的对象相关联；并且如果所述深度神经网络不能识别所检测的对象，则保存由所述图像传感器和所述深度传感器捕获的所述图像的版本以用于所述深度神经网络的后续重新训练。

19.根据权利要求18所述的传感器模块，其中所述控制器还包括云接口以通过网络来与所述深度神经网络通信。

20.根据权利要求18所述的传感器模块，所述传感器模块还包括人类输入采集模块，所述人类输入采集模块被配置为当所述深度神经网络不能基于所提交的图像数据和估计深度值来识别所检测的对象时，响应于来自所述控制器的请求而从用户采集所述标记信息。