CN102446382A - 一种三维操作的自助服务终端 - Google Patents

Abstract

本发明提出的自助服务终端，主要通过3D显示设备显示密码数字或者虚拟按钮，以及相应的信息，再通过双目视觉技术计算手指点击位置；如果点击位置与虚拟按钮空间位置重合，则认为点击操作成功，并提供相应服务；本发明可以保护用户隐私，使账户信息仅对用户本人可见；虚拟按钮仅用户可见，且用户操作不接触任何介质，虚拟按钮位置随机，使操作更隐私，不留下任何痕迹，提高了操作的保密程度。

Description

一种三维操作的自助服务终端

 

技术领域

本发明属于人机交互技术领域，尤其涉及一种三维操作的自助服务终端。

 

背景技术

自助服务终端包括：24小时综合业务自助受理系统及设备、营业厅多媒体信息发布与自助查询系统、营业厅新业务自助体验设备、营业厅排队管理系统、窗口服务评价器、LED 显示屏等系列电子设备和系统软件已广泛应用于通讯、金融、政府、交通、医疗、工商、税务等行业。其中ATM是较常见的一种服务终端，ATM是Automatic Teller Machine的缩写，意为自动柜员机。它是一种高度精密的机电一体化设备，利用磁卡或智能IC卡储存用户信息并通过加密键盘（EPP）输入密码然后通过银行内部网络验证并进行各种交易的金融自助设备。ATM的出现减轻了银行柜面人员的工作压力，更为人类提供了安全方便的金融服务体验。

由于目前的ATM的主要操作是通过按钮或者触摸屏实现的，虽然设备在密码按钮部位进行了遮挡，但是一些别有用心的人还是可以通过特殊方式得到用户密码。并且目前，ATM机查询余额、存款、或者转账的数目直接显示到屏幕上，无法保护用户的隐私。

 

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种三维操作的自助服务终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明提出了一种自助服务终端，包括：

深度传感器：获取用户操作手势的深度信息；

显示装置：三维显示自助终端的操作界面；

处理装置：根据所述深度信息测算出操作手势的三维坐标，将该三维坐标与操作界面内按键的三维坐标进行匹配，如符合，则响应该操作；

所述显示装置和所述深度传感器分别与处理装置连接，所述处理装置接收深度传感器输出的深度信息、发送处理后的操作指令到显示装置。

在一些可选的实施方式中，所述的显示装置通过操作者佩戴3D眼镜或使用偏振式3D显示器来实现操作界面三维显示。

在一些可选的实施方式中，所述的深度传感器是双目立体视觉传感器、红外传感器、激光传感器或雷达传感器。

在一些可选的实施方式中，所述的处理装置包括：

坐标处理模块：接收深度传感器输出的深度信息，对该深度信息进行特征处理，计算出用户操作手势特征点的三维坐标；

三维匹配模块：将操作手势特征点的三维坐标及操作界面内按键的三维坐标进行匹配，判断是否重合；

命令处理模块：根据三维匹配模块的匹配结果，发出操作指令，更新三维显示的操作界面。

在一些可选的实施方式中，双目立体视觉传感器通过肤色检测、动作检测和/或景深检测来获取操作手势的深度信息。

在一些可选的实施方式中，红外传感器和激光传感器通过光束反射时间获取操作手势的深度信息。

在一些可选的实施方式中，所述操作手势特征点使手势的指尖点。

在一些可选的实施方式中，所述显示装置三维显示的操作界面仅用户可见。

在一些可选的实施方式中，所述的终端是ATM自动柜员机。

 

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

本发明提出的加密自助服务终端，主要通过3D显示设备显示密码数字或者虚拟按钮，以及相应的信息，再通过双目视觉技术计算手指点击位置。如果点击位置与虚拟按钮空间位置重合，则认为点击操作成功，并提供相应服务。本发明通过3D显示设备显示密码数字或者虚拟按钮，以及相应的信息。3D显示设备可以是3D眼镜，也可以是偏振式3D显示器。3D眼镜，尽可以使佩戴者观看到显示内容；偏振式3D显示器，也仅仅在固定角度可以看到显示内容。因此，本专利可以保护用户隐私，使账户信息仅对用户本人可见。虚拟按钮仅用户可见，且用户操作不接触任何介质，虚拟按钮位置随机，使操作更隐私，不留下任何痕迹，提高了ATM机操作的保密程度。

 

附图说明

图1是本发明自助终端结构示意图；

图2是双目视觉距离传感器模型示意图；

图3是双目视觉距离传感器模型示意图；

图4是虚拟按钮成像原理图；

图5是本发明ATM机操作示意图。

 

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

如图1所示，本发明提出了一种自助服务终端，包括：

深度传感器S01：获取用户操作手势的深度信息；

显示装置S02：三维显示自助终端的操作界面；

处理装置S03：根据所述深度信息测算出操作手势的三维坐标，将该三维坐标与操作界面内按键的三维坐标进行匹配，如符合，则响应该操作；

所述显示装置S02和所述深度传感器S01分别与处理装置S03连接，所述处理装置S03接收深度传感器S01输出的深度信息、发送处理后的操作指令到显示装置S02。

在一些可选的实施方式中，所述的显示装置S02通过操作者佩戴3D眼镜或使用偏振式3D显示器来实现操作界面三维显示。

在一些可选的实施方式中，所述的深度传感器S01是双目立体视觉传感器、红外传感器、激光传感器或雷达传感器。

在一些可选的实施方式中，所述的处理装置S03包括：

坐标处理模块S031：接收深度传感器输出的深度信息，对该深度信息进行特征处理，计算出用户操作手势特征点的三维坐标；

三维匹配模块S032：将操作手势特征点的三维坐标及操作界面内按键的三维坐标进行匹配，判断是否重合；

命令处理模块：根据三维匹配模块的匹配结果，发出操作指令，更新三维显示的操作界面S033。

在一些可选的实施方式中，双目立体视觉传感器通过肤色检测、动作检测和/或景深检测来获取操作手势的深度信息。

较佳的，利用双目视觉原理，计算人手的三维空间位置，以及人眼三维空间位置。其中，两台摄像机平行放置，可以计算出非遮挡物体在物理世界中的三维坐标。如图2，给出了平行双目视觉距离传感器测量距离的原理图。如图所示，两台焦距为f的摄像机平行放置，光轴之间的距离为T，图2中的两个矩形分辨表示左右摄像机的成像平面，O _l 和O _r 为左右摄像机的焦点，对于场景中的指尖位置P，在左右摄像机成像平面上的成像点分别为p _l 和p _r ，它们在成像平面上的成像坐标（图像坐标）为x ^l 和x ^r ，则视差定义为d = x ^l  - x ^r 。

以图3中的左摄像机焦点O _l 为原点， O _l O _r 所在直线为X轴，左摄像机光轴为Z轴，垂直于XZ轴的为Y轴，则P点在O _l 坐标系中的坐标可以按照公式（1）计算：

               （1）

在一些可选的实施方式中，红外传感器和激光传感器通过光束反射时间获取操作手势的深度信息。其中，红外传感器、激光传感器和雷达传感器获取物体深度信息的方式，在现有技术中有很多，都是通过光线反射时间计算物体的距离，从来活动景深信息，本发明对此不再详细描述。

在一些可选的实施方式中，所述操作手势特征点使手势的指尖点。

较佳的，通过双目立体视觉传感器获取深度信息，将手势的特征点定为手势的指尖点，由于最有益于提取手指尖点的视角，因此，双目传感器相机成像平面与显示器平面往往不在同一平面上，因此需要对相机坐标系与显示器坐标系进行映射。公式（2）给出了相机坐标系下点

转换到显示器坐标系下点

的转换公式。

  

                      （2）

根据不同的相对位置关系，要求出相机坐标系到显示器坐标系下的旋转矩阵R以及平移矩阵T。在屏幕上给定n个标定点（至少四个），用手指逐个点击标定点利用公式（1）计算出手指点在相机坐标系下的空间坐标

，其对应的屏幕坐标系下空间点位置为

。已知n个点的空间坐标及其对应的屏幕坐标就可以建立方程组，如公式（3），可利用最小二乘或者SVD分解的方法，求出旋转矩阵R及平移矩阵T中的各个参数。

(3)

利用公式（1）计算手指尖点在相机坐标系下的空间坐标

，利用公式（2）可以求出该指尖点在显示坐标系下的空间坐标

。

由于用户近屏操作，且虚拟按钮仅在固定视角可见。因此，虚拟按钮在显示坐标系下空间位置固定。通过以上方法计算出指尖点在显示坐标系中的坐标，判断其是否与某一虚拟按钮空间位置重合，若重合，则触发相应功能。

在一些可选的实施方式中，所述显示装置S02三维显示的操作界面仅用户可见。

在一些可选的实施方式中，通过双目立体视觉传感器检测操作者眼睛和手势的深度信息，并不断调整显示装置三维显示的操作界面，使该操作界面仅用户可见，这样可以提高保密程度，很适合ATM机等需要输入个人隐私信息的自助服务终端。

较佳的，由人眼位置以及3D显示，计算虚拟按钮在人眼中的成像位置。如图4所示，给出了3D虚拟按钮成像原理。通过立体眼镜或者偏振光原理，用户左眼看到的是左眼图像，右眼看到的是右眼图像。当物体距离比较近的时候，左眼看到的物体位置偏右，右眼看到的物体位置偏左。当左右眼同时看到不同的画面时，经过大脑处理，可以使人感觉虚拟按钮漂浮在任的面前。

根据公式（1）计算出人眼所在的位置：

以及

。

设3D显示器上左图中的某一点坐标为

，右图中的对应点坐标为

。

由eyeL与screenL组成一条空间直线，其表达式为：

                      （4）

由eyeR与screenR组成一条空间直线，其表达式为：

  

                       (5)

由公式（4）（5）联立可以求出3D界面的空间成像位置：由于人眼在同一水平位置、同一深度，所以

，同样3D屏幕上的对应点也在同一水平位置、同一深度，所以

。

                        (6)

因此，只需求解公式（6）中的

，再将

带入式(4)中，即可得到3D界面的空间成像位置T。每次3D显示的虚拟按钮位置不定，可以保证用于的操作不留下任何痕迹，且3D显示仅用户本人可见，因此防止他人偷窥用户账户信息和密码的情况。

在一些可选的实施方式中，所述的终端是ATM自动柜员机。

图5给出了加密ATM机设备示意图。3D眼镜中的图像仅对用户可见，偏振式裸眼3D显示设备仅对固定位置的用户可见，因此有效的保护用户的隐私。同时，在操作区进行虚拟点击操作，不留下指纹任何痕迹，且每次3D显示的虚拟按钮位置随机，可以防止任何操作痕迹的遗留。

本发明提出的加密自助服务终端，主要通过3D显示设备显示密码数字或者虚拟按钮，以及相应的信息，再通过双目视觉技术计算手指点击位置。如果点击位置与虚拟按钮空间位置重合，则认为点击操作成功，并提供相应服务。本发明通过3D显示设备显示密码数字或者虚拟按钮，以及相应的信息。3D显示设备可以是3D眼镜，也可以是偏振式3D显示器。3D眼镜，尽可以使佩戴者观看到显示内容；偏振式3D显示器，也仅仅在固定角度可以看到显示内容。因此，本专利可以保护用户隐私，使账户信息仅对用户本人可见。虚拟按钮仅用户可见，且用户操作不接触任何介质，虚拟按钮位置随机，使操作更隐私，不留下任何痕迹，提高了ATM机操作的保密程度。

 

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和／或过程，所述动作和／或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

用于执行本申请所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行结合本文的实施例所描述的各种说明性的逻辑框图、模块和电路。通用处理器可以是微处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可能实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

而且，本文所述的各个方面或特征可以作为使用标准的程序设计和／或工程技术的方法、装置或制品来实现。本文所使用的术语“制品”是要包括可以从任何计算机可读的设备、载波或介质来访问的计算机程序。例如，计算机可读的介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带等)、光盘(例如，紧凑光盘(CD)、数字通用光盘(DVD)等)、智能卡以及闪速存储设备(例如，EPROM、卡、棒、钥匙驱动器等)。此外，本文描述的各种存储介质表示为用于存储信息的一个或多个设备和／或其它机器可读介质。术语“机器可读介质”包括但不限于能够存储、包含和／或携带指令和／或数据的无线信道和各种其它介质。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (9)

1.一种自助服务终端，其特征在于，包括：

深度传感器：获取用户操作手势的深度信息；

显示装置：三维显示自助终端的操作界面；

处理装置：根据所述深度信息测算出操作手势的三维坐标，将该三维坐标与操作界面内按键的三维坐标进行匹配，如符合，则响应该操作；

所述显示装置和所述深度传感器分别与处理装置连接，所述处理装置接收深度传感器输出的深度信息、发送处理后的操作指令到显示装置。

2.如权利要求1所述的终端，其特征在于，所述的显示装置通过操作者佩戴3D眼镜或使用偏振式3D显示器来实现操作界面三维显示。

3.如权利要求1所述的终端，其特征在于，所述的深度传感器是双目立体视觉传感器、红外传感器、激光传感器或雷达传感器。

4.如权利要求1所述的终端，其特征在于，所述的处理装置包括：

坐标处理模块：接收深度传感器输出的深度信息，对该深度信息进行特征处理，计算出用户操作手势特征点的三维坐标；

三维匹配模块：将操作手势特征点的三维坐标及操作界面内按键的三维坐标进行匹配，判断是否重合；

命令处理模块：根据三维匹配模块的匹配结果，发出操作指令，更新三维显示的操作界面。

5.如权利要求1至4任一项所述的终端，其特征在于，双目立体视觉传感器通过肤色检测、动作检测和/或景深检测来获取操作手势的深度信息。

6.如权利要求1至4任一项所述的终端，其特征在于，红外传感器和激光传感器通过光束反射时间获取操作手势的深度信息。

7.如权利要求1至4任一项所述的终端，其特征在于，所述操作手势特征点使手势的指尖点。

8.如权利要求1至4任一项所述的终端，其特征在于，所述显示装置三维显示的操作界面仅用户可见。

9.如权利要求1至8任一项所述的终端，其特征在于，所述的终端是ATM自动柜员机。

Images