CN109508974B - 一种基于特征融合的购物结账系统和方法 - Google Patents

Abstract

本发明公开了一种基于特征融合的购物结账系统，包括：商品识别结账端和云端服务器，所述商品识别结账端包括处理器、商品摄像头、双目摄像头、压力传感器阵列模块、置物台、通信模块、扬声器、声音采集模块和触摸显示屏，所述云端服务器包括商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块和声纹识别模块；所述置物台的表面贴有压力传感器阵列模块。顾客无需额外将散装商品拿到称重处称重，而是直接拿到商品识别结账系统处进行结账即可，将散装包装商品的结算方式统一化。且本方案能够同时识别所有商品，无需依次放置商品，顾客只需把全部所有商品同时放到台面上，且无论该商品是包装商品还是散装商品，均能统一识别。

Description

一种基于特征融合的购物结账系统和方法

技术领域

本发明涉及购物结账技术领域，具体涉及一种基于特征融合的购物结账系统和方法。

背景技术

目前主流的商品结算方式是通过逐个商品扫描条形码来识别商品的，逐个商品地扫描又需要花费较多时间，人工扫描需要较大的人力支出。另自助扫码不支持散装商品的结算，形成了散装商品结算依赖于称重员，商品结账依赖于收银员。这样散装包装商品结算分离、超市人力物力开销较大、超市经济效益不高、消耗顾客的时间过多的缺点。而最近新兴的自助收银机和自助称重台仅缓解了人流量大时收银员和称重员的压力，并没有显著地提高顾客的购物体验。因此，行业内急需一种同时识别所有商品、统一结算散装、包装商品，解决散装商品和包装商品结算方式分离问题的系统或者方法。

发明内容

本发明的目的是为了克服以上现有技术存在的不足，提供了一种基于特征融合的购物结账系统。

本发明的另一目的是为了克服以上现有技术存在的不足，提供了一种基于特征融合的购物结账方法。

本发明的目的通过以下的技术方案实现：

一种基于特征融合的购物结账系统，包括：商品识别结账端和云端服务器，所述商品识别结账端包括处理器、商品摄像头、双目摄像头、压力传感器阵列模块、置物台、通信模块、扬声器、声音采集模块和触摸显示屏，所述云端服务器包括商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块和声纹识别模块；所述商品摄像头、双目摄像头、压力传感器阵列模块、扬声器、声音采集模块、触摸显示屏和处理器的一端连接，所述处理器的另一端通过通信模块和商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块、声纹识别模块均连接；所述置物台的表面贴有压力传感器阵列模块。

优选地，所述置物台的左侧是箱体，箱体内部设置有处理器和通信模块，箱体尖角突起处的下侧表面设置有商品摄像头，箱体正面的倾斜面设置有触摸显示屏，触摸显示屏的下方且位于倾斜面上设置有小圆孔，小圆孔内部设置有扬声器和声音采集模块，触摸显示屏的上方且位于倾斜面上设置双目摄像头。

优选地，所述压力传感器阵列模块包括：压力传感器阵列单元和模数转换电路；所述压力传感器阵列单元设置在置物台的表面，所述压力传感器阵列单元和模数转换电路的一端连接，所述模数转换电路的另一端和处理器连接。

优选地，所述通信模块为4G物联网通信模块、WIFI通信模块和以太网通信模块中的任意一种，所述处理器为微型电脑、工作站或嵌入式控制主板中的任意一种。

优选地，所述结账模块包括二维码支付单元、生物支付单元，所述人脸识别模块包括人脸身份鉴别单元和眨眼检测单元，所述商品识别模块包括商品定位单元和商品识别单元，所述声纹识别模块包括依次连接的语音预处理单元、语音特征提取单元和语音分类单元。

本发明的另一目的通过以下的技术方案实现：

一种基于特征融合的购物结账方法，包括：

S1，双目摄像头拍摄顾客的人脸图像，声音采集模块采集顾客输入的付款关键字；触摸显示屏接收顾客输入的电子支付账户信息，完成顾客与电子支付账户的绑定。

S2，顾客将商品放置在置物台上，云端服务器对商品进行识别，商品包括散装商品；

S3，顾客选择生物支付时，顾客将自身的人脸对准双目摄像头，眨眼以确定活体，说“确认付款”以确认交易，绑定的电子支付账户或虚拟支付账户自动扣款；

S4，顾客取走置物台上的所有商品。

优选地，步骤S2包括：

压力传感器阵列模块获取置物台上商品的重量分布信息，构建出重量分布图；

商品摄像头对置物台上的全体商品进行拍照，得到商品图片；

处理器将商品图片和重量分布图上传至云端服务器；

云端服务器的商品识别模块对商品图片上的商品的位置进行定位、种类进行识别、根据重量分布图获取重量分布图上商品的重量w_k；

从商品数据库获取商品a_k的单价后，结合重量w_k，计算出该商品a_k的价格；

将k遍历从1到n的所有取值，识别出置物台上的全部商品；

优选地，所述云端服务器的商品识别模块对商品图片上的商品的位置根据重量分布图获取重量分布图上商品的重量w_k包括：云端服务器的商品识别模块对商品图片上的商品的位置进行定位后，获取商品a_k在重力分布图里对应的子区域r_k；将重力分布图上的子区域r_k仿射变换到商品图片子区域s_k，得到商品图片里对应的位置s_k；云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k；所述云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k包括：预先对压力传感器阵列单元进行压力校准，获得校准曲线；对重力分布图中子区域r_k内的任意一点p_j的数值，利用校准曲线对所述数值进行校准，获得真实的压力数值rw_j；其中p_j为区域r_k中的任意点，j＝1…m；对所有的j从1到m，求和rw_j，得到子区域r_k上的重量w_k；所述云端服务器的商品识别模块对商品图片上的商品的位置进行定位包括：云端服务器的商品识别模块将重量分布图进行预处理，得到商品图片上的商品的位置；对预处理后获得的商品位置进行后处理，得到重量分布图子区域和图片子区域；所述云端服务器的商品识别模块对商品图片上的商品的种类进行识别包括：将重量分布图子区域输入卷积层中，提取重量分布图子区域的特征向量；将图片子区域输入特征提取层中，提取图片子区域的特征向量；其中所述的卷积层和特征提取层为深度卷积神经网络结构。

优选地，所述预处理的步骤为：对重量分布图以背景重量为阈值进行二值化，得到二值化图；对二值化图进行模板匹配，确定商品的粗略位置；对商品的粗略位置区域进行范围扩张，获得商品位置，以使得商品图像完全落入定位范围内；

所述后处理的步骤为：根据商品位置对重量分布图进行裁剪，获得重量分布图裁剪后区域；根据重量分布图和图片的仿射变换关系，对商品位置进行仿射变换，获得重量分布图中的商品位置在商品图片中的对应位置；根据商品图片中的对应位置对商品图片进行裁剪，获得图片裁剪后区域；对图片裁剪后区域进行中值滤波；对重量分布图裁剪后区域和商品图片裁剪后区域进行伸缩变换，变换到卷积神经网络匹配的输入尺寸大小，获得重量分布图子区域和图片子区域。

优选地，人脸识别模块包括人脸身份鉴别单元和眨眼检测单元；所述人脸身份鉴别单元，用于将传统的可见光三通道图像与近红外单通道图像相结合，组成四通道的图像，将四通道图像作为卷积神经网络CNN的输入，送入卷积神经网络CNN进行人脸的识别和分类，获得顾客人脸的身份信息；所述眨眼检测单元，用于提取眼部的特征点，将描述特征点的特征向量送入机器学习分类器中进行分类训练，获得眨眼检测的识别模型；所述声纹识别模块，用于对采集到的语音信号进行预加重、分帧和加窗；进行端点检测，识别出语音信号的开始时刻、过渡阶段、噪声段和结束时刻，其中端点检测算法为采用基于短时能量和短时过零率的双阈值端点检测法，计算每一帧语音信号的梅尔倒谱系数和Gammatone频率倒谱系数，进行合并形成语音融合特征。

本发明相对于现有技术具有如下的优点：

本方案顾客无需额外将散装商品拿到称重处称重，而是直接拿到商品识别结账系统处进行结账即可，将散装包装商品的结算方式统一化。且本方案能够同时识别所有商品，无需依次放置商品，顾客只需把全部所有商品同时放到台面上，且无论该商品是包装商品还是散装商品，均能统一识别。采用重量分布图和图片相结合的特征融合方式，能较好地定位商品位置、提取更完备的商品特征，因而具备较高的商品识别准确度。以视觉识别取代传统的条形码识别：免去了反复翻找商品条形码的过程，识别过程更加快捷。顾客自助商品结账：免去雇佣收银员，节省超市经营成本。

附图说明

图1是本发明的基于特征融合的购物结账系统的结构框图。

图2是本发明的商品识别结账端的结构图。

图3是本发明的基于特征融合的购物结账方法的流程图。

图4是本发明的商品识别模块架构图。

图5是本发明的人脸识别模块架构图。

图6是本发明的声纹识别模块架构图。

图7是本发明的残差模块图。

其中，1：置物台；2：压力传感器阵列单元；3：箱体；4：商品摄像头；5：小圆孔；6：触摸显示屏；7：双目摄像头。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参见图1-2，一种基于特征融合的购物结账系统，包括：商品识别结账端和云端服务器，所述商品识别结账端包括处理器、商品摄像头4、双目摄像头7、压力传感器阵列模块、置物台1、通信模块、扬声器、声音采集模块和触摸显示屏，所述云端服务器包括商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块和声纹识别模块；所述商品摄像头4、双目摄像头7、压力传感器阵列模块、扬声器、声音采集模块、触摸显示屏和处理器的一端连接，所述处理器的另一端通过通信模块和商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块、声纹识别模块均连接；所述置物台1的表面贴有压力传感器阵列模块。

在本实施例，所述商品摄像头4用于采集商品的图像信息。所述双目摄像头7用于采集顾客人脸图像和支付二维码图像。所述双目摄像头7为通过光波频段不同的双目摄像头7。所述扬声器用于播放商品识别信息和支付信息的语音提示。所述声音采集模块包括麦克风和相应的驱动电路，用于采集声纹信息。所述触摸显示屏为电容或电阻触控的彩色显示屏，用于显示所识别商品的列表，包括商品名、重量、数量、单价和总价信息，以及显示商品支付信息，包括总价格、支付二维码、支付选项，以实现与顾客的人机交互。所述商品数据库存储每件商品的名称、重量、单价和价格信息。所述交易记录管理模块用于记录、查看和管理商品的交易记录。声纹识别模块利用声音采集模块采集的声纹信息，通过声纹识别算法，实现了说话人辨认。商品识别模块借助压力传感器阵列模块获取的重量分布信息，结合商品摄像头4获取的商品图片，通过商品定位和商品识别算法来识别商品。

更具体地，所述处理器的范围涵盖微型电脑、工作站或嵌入式控制主板。处理器用于协调和处理商品识别结账系统中其他各个子模块的工作和运转，用于采集数据的初步处理。商品摄像头4：所述商品摄像头4为彩色高清摄像头。商品摄像头4用于采集商品的图像信息，再交由处理器通过通信模块上传至云端服务器进行识别。双目摄像头7：所述双目摄像头7为通过光波频段不同的双目摄像头7，其中一只为可见光摄像头，另一只为近红外光摄像头。双目摄像头7用于采集顾客人脸图像信息，再交由处理器通过通信模块上传至云端服务器识别，也用于采集支付的二维码图像。压力传感器阵列模块：所述压力传感器阵列模块由压力传感器阵列单元和模数转换电路组成。压力传感器阵列单元用于采集商品的重量分布信息，重量分布信息交由处理器处理获得重量分布图，同时处理器将获取到的重量分布图通过通信模块上传至云端服务器进行商品的辅助识别。置物台1：所述置物台1为一块纯色平面板，表面贴有压力传感器阵列单元。置物台1用于放置被识别的商品，以及为商品图像拍摄提供颜色均匀的统一背景。通信模块：所述通信模块包括4G物联网通信模块、WIFI通信模块和以太网通信模块。通信模块用于传输图像以及其他数据信息，实现与云端服务器的通信。扬声器：扬声器用于播放商品识别信息和支付信息的语音提示。声音采集模块：所述声音采集模块包括麦克风和相应的驱动电路。声音采集模块用于采集声纹信息。触摸显示屏：所述触摸显示屏为电容或电阻触控的彩色显示屏。触摸显示屏用于显示所识别商品的列表，包括商品名、重量、数量、单价和总价信息，用于显示商品支付信息，包括总价格、支付二维码、支付选项，实现与顾客的人机交互。商品数据库：所述商品数据库包含了每件商品的名称、重量、单价和价格信息。商品数据库用于存储商品的名称、重量、单价和价格。交易记录管理模块：交易记录管理模块用于记录、查看和管理商品的交易记录。结账模块：所述结账模块包括二维码支付、生物支付以及其他的主流支付手段。结账模块用于结合商品识别模块的商品识别结果、人脸识别模块和声纹识别模块识别出的顾客身份信息或支付二维码的账户信息，调用相应的支付接口，从顾客的电子支付账户或虚拟支付账户里自动扣款结账。商品识别模块：所述商品识别模块的基本流程是商品定位和商品识别。商品识别模块用于将上传至云端服务器的商品图像进行商品位置定位和商品种类识别。所述人脸识别模块由人脸身份鉴别单元和眨眼检测单元组成。其中人脸身份鉴别模块用于将上传至云端服务器的人脸图像进行身份判别，眨眼检测单元用于将上传至云端服务器的人脸图像进行生物活体的鉴别。声纹识别单元：所述声纹识别模块包括依次连接的语音预处理单元、语音特征提取单元和语音分类单元。其中语音预处理单元用于对采集到的语音信号进行预处理，语音特征提取单元用于提取预处理后的语音特征，语音分类单元用于对提取到的语音特征进行分类。

在本实施例，参见图2，所述置物台1的左侧是箱体3，箱体3内部设置有处理器和通信模块，箱体3尖角突起处的下侧表面设置有商品摄像头4，箱体3正面的倾斜面设置有触摸显示屏6，触摸显示屏6的下方且位于倾斜面上设置有小圆孔，小圆孔内部设置有扬声器和声音采集模块，触摸显示屏6的上方且位于倾斜面上设置双目摄像头7。

在本实施例，所述压力传感器阵列模块包括：压力传感器阵列单元2和模数转换电路；所述压力传感器阵列单元2设置在置物台1的表面，所述压力传感器阵列单元2和模数转换电路的一端连接，所述模数转换电路的另一端和处理器连接。所述压力传感器阵列模块用于采集商品的重量分布信息。所述置物台1为一块表面贴有压力传感器阵列单元2的纯色平面板。

在本实施例，所述通信模块为4G物联网通信模块、WIFI通信模块和以太网通信模块中的任意一种，所述处理器为微型电脑、工作站或嵌入式控制主板中的任意一种。

在本实施例，所述结账模块包括二维码支付单元、生物支付单元，所述人脸识别模块包括人脸身份鉴别单元和眨眼检测单元，所述商品识别模块包括商品定位单元和商品识别单元，所述声纹识别模块包括依次连接的语音预处理单元、语音特征提取单元和语音分类单元。

参见图3，上述基于特征融合的购物结账系统适用的基于特征融合的购物结账方法，包括：

S1，双目摄像头7拍摄顾客的人脸图像，声音采集模块采集顾客输入的付款关键字；触摸显示屏6接收顾客输入的电子支付账户信息，完成顾客与电子支付账户的绑定。

S2，顾客将商品放置在置物台1上，云端服务器对商品进行识别，商品包括散装商品；

S3，顾客选择生物支付时，顾客将自身的人脸对准双目摄像头7，眨眼以确定活体，说“确认付款”以确认交易，绑定的电子支付账户或虚拟支付账户自动扣款；

S4，顾客取走置物台1上的所有商品。

从顾客角度，步骤S1操作为：顾客通过触摸触摸显示屏6操作，进入顾客注册界面，按照屏幕提示的进行操作。人脸录入时，顾客立足在双目摄像头7正前方，人脸正对摄像头，通过转动头部等方式完成人脸图像的录入。声纹采集时，顾客按照屏幕提示，重复说付款关键字(如付款关键字“确认付款”)数次，完成声纹信息的录入。商品识别结账端将人脸图像和语音信息上传至云端服务器，调用人脸识别模块和声纹识别模块完成人脸识别模块的训练和声纹识别模块的训练。顾客通过在触摸显示屏6上输入个人的电子支付账户信息，完成人脸与电子支付账户的绑定；或者使用现有的电子支付账户(如支付宝、微信、银行卡等)往虚拟支付账户充值。从顾客角度，步骤S2操作为：顾客携带一件或多件商品到商品识别结账系统前。所述商品包括散装商品和包装商品。顾客将商品全部同时地放置在置物台1上，当然也可以依次放置在置物台1上，注意商品不可堆叠放置。处理器通过通信模块从云端服务器获取识别出的商品信息，将所述商品信息显示在触摸显示屏6上。从顾客角度，步骤S3操作为：确认结算时，顾客从触摸显示屏6上选择生物支付或是二维码支付。生物支付需要顾客提前注册的个人的人脸和声纹信息才能使用。当选择生物支付时，顾客将自身的人脸对准双目摄像头7，眨眼以确定活体，说“确认付款”以确认交易，绑定的电子支付账户或虚拟支付账户自动扣款。在这个过程中商品识别结账系统会实时地将人脸视频图像和语音信息上传至云端服务器，调用人脸识别模块进行人脸识别和眨眼检测，调用声纹识别模块进行说话人辨认。并结合顾客已绑定的电子支付账户或虚拟支付账户进行自动扣款。当选择二维码支付时，顾客将付款二维码(如支付宝、微信等付款二维码)对准双目摄像头7，电子支付账户将自动扣款。在此过程中商品识别结账系统对所摄二维码图片进行解析识别，并调用官方提供的支付接口对所在电子支付账户进行自动扣款。交易扣款成功后，云端服务器的交易记录管理模块将会记录商品的交易信息。

在本实施例，步骤S2包括：压力传感器阵列模块获取置物台1上商品的重量分布信息，构建出重量分布图；商品摄像头4对置物台1上的全体商品进行拍照，得到商品图片；处理器将商品图片和重量分布图上传至云端服务器；云端服务器的商品识别模块对商品图片上的商品的位置进行定位、种类进行识别、根据重量分布图获取重量分布图上商品的重量w_k；从商品数据库获取商品a_k的单价后，结合重量w_k，计算出该商品a_k的价格；将k遍历从1到n的所有取值，识别出置物台1上的全部商品。

其中，参见图4，所述云端服务器的商品识别模块对商品图片上的商品的位置根据重量分布图获取重量分布图上商品的重量w_k包括：云端服务器的商品识别模块对商品图片上的商品的位置进行定位后，获取商品a_k在重力分布图里对应的子区域r_k；置物台1上存在多件商品时，记商品数量为n，商品依次记作a_i(i＝1…n)将重力分布图上的子区域r_k仿射变换到商品图片子区域s_k，得到商品图片里对应的位置s_k；云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k；如果是包装商品，则直接从商品数据库中获取该件商品的价格；如果是散装商品，则从商品数据库获取该商品的单价后，结合重量w_k，从而计算出该商品a_k的价格。将k遍历从1到n的所有取值，就能识别出置物台1上的全部商品。

所述云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k包括：预先对压力传感器阵列单元进行压力校准，获得校准曲线；对重力分布图中子区域r_k内的任意一点p_j的数值，利用校准曲线对所述数值进行校准，获得真实的压力数值rw_j；其中p_j为区域r_k中的任意点，j＝1…m；对所有的j从1到m，求和rw_j，得到子区域r_k上的重量w_k；

所述云端服务器的商品识别模块对商品图片上的商品的位置进行定位包括：云端服务器的商品识别模块将重量分布图进行预处理，得到商品图片上的商品的位置；对预处理后获得的商品位置进行后处理，得到重量分布图子区域和图片子区域；所述预处理的步骤为：对重量分布图以背景重量为阈值进行二值化，得到二值化图；对二值化图进行模板匹配，确定商品的粗略位置；对商品的粗略位置区域进行范围扩张，获得商品位置，以使得商品图像完全落入定位范围内；所述后处理的步骤为：根据商品位置对重量分布图进行裁剪，获得重量分布图裁剪后区域；根据重量分布图和图片的仿射变换关系，对商品位置进行仿射变换，获得重量分布图中的商品位置在商品图片中的对应位置；根据商品图片中的对应位置对商品图片进行裁剪，获得图片裁剪后区域；对图片裁剪后区域进行中值滤波；对重量分布图裁剪后区域和商品图片裁剪后区域进行伸缩变换，变换到卷积神经网络匹配的输入尺寸大小，获得重量分布图子区域和图片子区域。

所述云端服务器的商品识别模块对商品图片上的商品的种类进行识别包括：将重量分布图子区域输入卷积层中，提取重量分布图子区域的特征向量；将图片子区域输入特征提取层中，提取图片子区域的特征向量；其中所述的卷积层和特征提取层为深度卷积神经网络结构。卷积层和特征提取层往往采用现有的分类深度卷积神经网络的变体，常见现有的分类深度卷积神经网络有VGG、ResNet、Inception、DenseNet、ZFNet和AlexNet。

该卷积层为基于VGG16的分类深度卷积神经网络的变体。将a*a大小的n个卷积核记作conv_a_n，如3*3大小的64个卷积核记作conv_3_64。将单通道的重量分布图子区域复制两份组成三通道的图像，输入后续的卷积层中。卷积层输入为224*224的三通道彩色图片。借助卷积核的符号表达，那么此VGG16变种的神经网络结构可以描述为：conv_3_64、conv_3_64、maxpool、conv_3_128、conv_3_128、maxpool、conv_3_256、conv_3_256、conv_3_256、maxpool、conv_3_512、conv_3_512、conv_3_512、maxpool、conv_3_512、conv_3_512、conv_3_512、maxpool、FC_4096、FC_4096、FC_1000。其中maxpool均为2*2大小、步长为2的池化层，FC_4096代表4096个神经元的全连接层，FC_1000为1000个神经元的全连接层。最后全连接层FC_1000的该特征提取层为基于ResNet50的分类深度卷积神经网络的变体。我们记如图7所示的卷积结构为残差模块。残差模块依次由a个1*1卷积核、b个3*3卷积核和c个1*1卷积核构成，在如图6所示的结构中，a、b和c的取值依次为64、64和256。残差模块将三层之前的输入直接跨接到输出端相加，再经过relu激活函数激活作为残差模块的输出。每个卷积均使用relu激活函数。我们简记参数为a、b和c的残差模块为符号bottleneck_a_b_c，例如图7所示的残差模块就记作bottleneck_64_64_256。那么该特征提取层的其中一种实施例结构为：conv_7_64、maxpool、3个bottleneck_64_64_256、4个bottleneck_128_128_512、6个bottleneck_256_256_1024、3个bottleneck_512_512_2048、avgpool、FC_1000。其中conv_7_64代表64个7*7的卷积核，maxpool代表3*3大小以2为步长的最大池化层、avgpool代表平均池化层、FC_1000为神经元数量1000的全连接层。最后全连接层FC_1000的输出作为特征提取层的输出，输出为1000维的特征向量。

将重量特征和图片特征进行合并处理得到合成特征，合成特征的维度为2000。

将合成特征输入分类深度神经网络，其由全连接层以及softmax分类层组成，将softmax输出层概率最大的商品作为商品识别结果。

所述分类深度神经网络为：该神经网络的结构依次是FC_2000、softmax。其中FC_2000代表神经元个数为2000的全连接层，softmax为输出结点个数为商品种类数的分类输出层。其中激活函数均使用relu激活函数。

在本实施例，参见图5，人脸识别模块包括人脸身份鉴别单元和眨眼检测单元；所述人脸身份鉴别单元采用卷积神经网络CNN，用于将传统的可见光三通道图像与近红外单通道图像相结合，组成四通道的图像，将四通道图像作为卷积神经网络CNN的输入，送入卷积神经网络CNN进行人脸的识别和分类，获得顾客人脸的身份信息；所述眨眼检测单元，用于提取眼部的特征点，将描述特征点的特征向量送入机器学习分类器中进行分类训练，获得眨眼检测的识别模型；眨眼检测单元的目的是对抗非活体，只有眨眼的被测对象才有可能被识别为活体对象。眨眼检测算法可以选取为使用眼部特征提取技术的实时眨眼检测算法。所述眨眼检测算法具有一定的鲁棒性以抵抗外界攻击。所述眨眼检测算法通过提取眼部的特征点，然后将描述特征点的特征向量送入机器学习分类器(如支持向量机SVM)中进行分类训练，即可获得眨眼检测的识别模型。

参见图6，所述声纹识别模块，用于对采集到的语音信号进行预加重、分帧和加窗；进行端点检测，识别出语音信号的开始时刻、过渡阶段、噪声段和结束时刻，其中端点检测算法为采用基于短时能量和短时过零率的双阈值端点检测法，计算每一帧语音信号的梅尔倒谱系数和Gammatone频率倒谱系数，进行合并形成语音融合特征。

使用深度神经网络对特征进行训练，深度神经网络的输出层是softmax分类层。取softmax层输出概率最大的作为识别结果。

本方案相对于现有技术具有如下的优点：

(1)放下统一识别：相比现阶段逐件扫描商品的方式，采用本系统，顾客只需把全部所有商品同时放到台面上即可。本系统能够同时识别所有商品，无需依次放置商品，无论该商品是包装商品还是散装商品。

(2)将散装包装商品的结算方式统一化：采用本系统，顾客无需额外将散装商品拿到称重处称重，而是直接拿到商品识别结账系统处进行结账即可。

(3)以视觉识别取代传统的条形码识别：免去了反复翻找商品条形码的过程，识别过程更加快捷。

(4)顾客自助商品结账：免去雇佣收银员，节省超市经营成本。

(5)较高的商品识别准确度：相比传统的机器学习算法，采用重量分布图和图片相结合的特征融合方式，能较好地定位商品位置、提取更完备的商品特征，因而具备较高的商品识别准确度。

(6)较高的人脸识别准确度：相比传统的机器学习算法，采用特征融合和卷积神经网络的方式，能更完备地描述人脸特征，因而具备较高的人脸识别准确度。

(7)云服务器的访问方式降低了图像识别的成本：云服务器访问的方式使得视觉识别模型无需写入结账系统的内部，方便了视觉识别模型的修改，同时降低了商品识别结账系统的硬件开销。

(8)免去了设备的有线网络部署成本：4G物联网方式的访问使得设备无需网络连线部署。但本系统也支持WIFI和以太网通讯接口。

(9)降低了顾客误结账的可能：采用人脸识别、眨眼检测和声纹识别三重验证的方式，大大降低了顾客因误操作而错误结账的可能性。但相比现今的结账方式又显得便捷和易操作。

(10)省去了超市雇佣人力的成本开销：超市无需再雇佣称重员和收银员，节省了人工支出。若超市原本雇佣7名收银员、3名称重员，员工月收入五千，引入本系统后相当于为超市带来年利润60万元，经济效益可观。

上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于特征融合的购物结账系统，其特征在于，包括：商品识别结账端和云端服务器，所述商品识别结账端包括处理器、商品摄像头、双目摄像头、压力传感器阵列模块、置物台、通信模块、扬声器、声音采集模块和触摸显示屏，所述云端服务器包括商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块和声纹识别模块；

所述商品摄像头、双目摄像头、压力传感器阵列模块、扬声器、声音采集模块、触摸显示屏和处理器的一端连接，所述处理器的另一端通过通信模块和商品数据库、交易记录管理模块、结账模块、商品识别模块、人脸识别模块、声纹识别模块均连接；所述置物台的表面贴有压力传感器阵列模块；

处理器用于采集数据的初步处理；

商品摄像头用于采集商品的图像信息；

双目摄像头为通过光波频段不同的双目摄像头，一只为可见光摄像头，另一只为近红外光摄像头，用于采集顾客人脸图像和支付二维码图像；

压力传感器阵列模块包括压力传感器阵列单元和模数转换电路，压力传感器阵列单元设置在置物台的表面，压力传感器阵列单元和模数转换电路的一端连接，模数转换电路的另一端和处理器连接，用于采集商品的重量分布信息，构建重量分布图；

置物台为一块纯色平面板，用于放置被识别的商品，以及为商品图像拍摄提供颜色均匀的统一背景；

通信模块用于传输图像以及其他数据信息，实现与云端服务器的通信；扬声器用于播放商品识别信息和支付信息的语音提示；

声音采集模块包括麦克风和相应的驱动电路，用于采集声纹信息；

触摸显示屏为电容或电阻触控的彩色显示屏，用于显示所识别商品的列表以及商品支付信息；

商品数据库用于存储每件商品的名称、重量、单价和价格信息；

交易记录管理模块用于记录、查看和管理商品的交易记录；

结账模块包括二维码支付单元、生物支付单元，结账模块用于结合商品识别模块的商品识别结果、人脸识别模块和声纹识别模块识别出的顾客身份信息或支付二维码的账户信息，调用相应的支付接口，从顾客的电子支付账户或虚拟支付账户里自动扣款结账；

商品识别模块包括商品定位单元和商品识别单元，商品识别模块用于将上传至云端服务器的商品图像进行商品位置定位和商品种类识别；

人脸识别模块包括人脸身份鉴别单元和眨眼检测单元，人脸身份鉴别模块用于将上传至云端服务器的人脸图像进行身份判别，眨眼检测单元用于将上传至云端服务器的人脸图像进行生物活体的鉴别；

声纹识别模块包括依次连接的语音预处理单元、语音特征提取单元和语音分类单元，语音预处理单元用于对采集到的语音信号进行预处理，语音特征提取单元用于提取预处理后的语音特征，语音分类单元用于对提取到的语音特征进行分类。

2.根据权利要求1所述的基于特征融合的购物结账系统，其特征在于，所述置物台的左侧是箱体，箱体内部设置有处理器和通信模块，箱体尖角突起处的下侧表面设置有商品摄像头，箱体正面的倾斜面设置有触摸显示屏，触摸显示屏的下方且位于倾斜面上设置有小圆孔，小圆孔内部设置有扬声器和声音采集模块，触摸显示屏的上方且位于倾斜面上设置双目摄像头。

3.根据权利要求1所述的基于特征融合的购物结账系统，其特征在于，所述通信模块为4G物联网通信模块、WIFI通信模块和以太网通信模块中的任意一种，所述处理器为微型电脑、工作站或嵌入式控制主板中的任意一种。

4.一种基于特征融合的购物结账方法，其特征在于，包括：

S1，双目摄像头拍摄顾客的人脸图像，声音采集模块采集顾客输入的付款关键字；触摸显示屏接收顾客输入的电子支付账户信息，完成顾客与电子支付账户的绑定；

S2，顾客将散装商品和包装商品全部同时地或依次放置在置物台上，云端服务器对商品进行识别，包括：

压力传感器阵列模块获取置物台上商品的重量分布信息，构建出重量分布图；

商品摄像头对置物台上的全体商品进行拍照，得到商品图片；

处理器将商品图片和重量分布图上传至云端服务器；

云端服务器的商品识别模块对商品图片上的商品的位置进行定位、种类进行识别、根据重量分布图获取重量分布图上商品的重量w_k；

从商品数据库获取商品a_k的单价后，结合重量w_k，计算出该商品a_k的价格；

将k遍历从1到n的所有取值，识别出置物台上的全部商品；

S3，顾客选择生物支付时，顾客将自身的人脸对准双目摄像头，眨眼以确定活体，说“确认付款”以确认交易，绑定的电子支付账户或虚拟支付账户自动扣款；

生物支付过程中商品识别结账端将人脸视频图像和语音信息上传至云端服务器，调用人脸识别模块进行人脸识别和眨眼检测，调用声纹识别模块进行说话人辨认；

S4，顾客取走置物台上的所有商品。

5.根据权利要求4所述的基于特征融合的购物结账方法，其特征在于，所述云端服务器的商品识别模块对商品图片上的商品的位置根据重量分布图获取重量分布图上商品的重量w_k包括：

云端服务器的商品识别模块对商品图片上的商品的位置进行定位后，获取商品a_k在重力分布图里对应的子区域r_k；

将重力分布图上的子区域r_k仿射变换到商品图片子区域s_k，得到商品图片里对应的位置s_k；

云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k；

所述云端服务器根据重量分布图，在子区域r_k对重力进行积分，得到商品a_k的重量w_k包括：

预先对压力传感器阵列单元进行压力校准，获得校准曲线；

对重力分布图中子区域r_k内的任意一点p_j的数值，利用校准曲线对所述数值进行校准，获得真实的压力数值rw_j；其中p_j为区域r_k中的任意点，j＝1…m；

对所有的j从1到m，求和rw_j，得到子区域r_k上的重量w_k；

所述云端服务器的商品识别模块对商品图片上的商品的位置进行定位包括：

云端服务器的商品识别模块将重量分布图进行预处理，得到商品图片上的商品的位置；

对预处理后获得的商品位置进行后处理，得到重量分布图子区域和图片子区域；

所述云端服务器的商品识别模块对商品图片上的商品的种类进行识别包括：

将重量分布图子区域输入卷积层中，提取重量分布图子区域的特征向量；

将图片子区域输入特征提取层中，提取图片子区域的特征向量；其中所述的卷积层和特征提取层为深度卷积神经网络结构。

6.根据权利要求5所述的基于特征融合的购物结账方法，其特征在于，所述预处理的步骤为：

对重量分布图以背景重量为阈值进行二值化，得到二值化图；

对二值化图进行模板匹配，确定商品的粗略位置；

对商品的粗略位置区域进行范围扩张，获得商品位置，以使得商品图像完全落入定位范围内；

所述后处理的步骤为：

根据商品位置对重量分布图进行裁剪，获得重量分布图裁剪后区域；

根据重量分布图和图片的仿射变换关系，对商品位置进行仿射变换，获得重量分布图中的商品位置在商品图片中的对应位置；

根据商品图片中的对应位置对商品图片进行裁剪，获得图片裁剪后区域；

对图片裁剪后区域进行中值滤波；

对重量分布图裁剪后区域和商品图片裁剪后区域进行伸缩变换，变换到卷积神经网络匹配的输入尺寸大小，获得重量分布图子区域和图片子区域。

7.根据权利要求4所述的基于特征融合的购物结账方法，其特征在于，人脸识别模块包括人脸身份鉴别单元和眨眼检测单元；

所述人脸身份鉴别单元，用于将传统的可见光三通道图像与近红外单通道图像相结合，组成四通道的图像，将四通道图像作为卷积神经网络CNN的输入，送入卷积神经网络CNN进行人脸的识别和分类，获得顾客人脸的身份信息；

所述眨眼检测单元，用于提取眼部的特征点，将描述特征点的特征向量送入机器学习分类器中进行分类训练，获得眨眼检测的识别模型；

所述声纹识别模块，用于对采集到的语音信号进行预加重、分帧和加窗；进行端点检测，识别出语音信号的开始时刻、过渡阶段、噪声段和结束时刻，其中端点检测算法为采用基于短时能量和短时过零率的双阈值端点检测法，计算每一帧语音信号的梅尔倒谱系数和Gammatone频率倒谱系数，进行合并形成语音融合特征。