CN117251058B - 一种多信息体感交互系统的控制方法 - Google Patents

Abstract

本发明提供了一种多信息体感交互系统的控制方法，涉及多信息体感交互系统的控制方法技术领域，该方法包括：获取手部模型的初始三维坐标；通过磁场检测，获取微型无刷电机的旋转偏角α₀；基于所述微型无刷电机的旋转偏角α₀，和手指单个骨节的直径d，确定单个关节的旋转角度；基于所述单个关节的旋转角度构建描述手部模型具体形态的第一矩阵T；最终计算每个关节提供的力矩。

Description

一种多信息体感交互系统的控制方法

技术领域

本发明涉及多信息体感交互系统的控制方法技术领域，具体涉及一种多信息体感交互系统的控制方法。

背景技术

虚拟现实或增强现实技术中需要物理空间中的人通过操纵控制器的方式才能对虚拟空间的物体进行控制，而控制器的精细程度与反馈能力将直接影响物理空间中人的控制的精细程度与具体感受。当物理空间中人在操控时，如果精细程度不够，将导致虚拟空间物体在交互时，对应的动作会发生较大误差，如果反馈能力不够，将导致物理空间中人无法精确判断虚拟空间中物体的行为从而做出正确反映。因此，对于此类控制器需要同时满足这两个要求才能达到优良的效果。同时，在交互时，如果使用者利用控制器输出的命令不能及时反馈到被控制端，交互体验将被严重影响，这就意味着此类控制器的具体使用方法必须足够简单且拥有高效的算法来判断控制器的具体命令，使被控制端能快速响应。另一方面，如果需要控制端存在反馈，其具体反馈算法也需要精准且简便以达到快速反馈的目的。

目前虚拟现实技术，增强现实技术中手部的控制方案主要分为手柄，手势，手套三种方案，其中现有手柄主要为柱型握持，无法达到对虚拟空间中手部每个手指的精准控制；手势主要通过摄像头对手部动作的捕捉达到控制的效果，虽然可以对每个手指精准控制，但是其捕捉动作容易出错且无法对现实中手部有精准的反馈，达到沉浸的体验；手套方案可以同时达到精准的反馈与精细的控制。但是现有方案中，要么存在手部反馈的形式单一的问题，例如仅仅通过振动对是否触摸到物体来达到反馈的目的，实则手可以穿过虚拟空间中的物体，无法达到更为细致的反馈；要么存在手部反馈细致但是难以实现且并不能带来实质上的反馈感，例如对物体表面质感与温度的模拟，需要在手套上搭载大量传感器与反馈元件却无法在模拟的握持感上带来良好的体验，而握持感将直接影响操作者对物体的形状，体积等细节的判断，使得操作者无法进行更细致的操作。

目前的虚拟现实技术对手部的手势读取方法中，普遍采用视觉传感器对用户手势进行读取。这种方案存在手势读取不精确，需要大量传感器对手势进行确定，手掌位置计算速度慢等问题，例如老人在使用某些手势时可能存在动作不到位而无法操作的问题。另一方面，现有方案无法对不同人群的手势产生适应性，用户在长期使用时，手势读取准确性并不会随着使用时长而逐渐精准。

发明内容

本发明的目的在于提供一种多信息体感交互系统的控制方法。以期解决背景技术中存在的技术问题。

为了实现上述目的，本发明采用以下技术方案：

一种多信息体感交互系统的控制方法，所述多信息体感交互系统包括手套本体，力反馈装置，振动马达，加速度传感器，倾角传感器与微处理器；所述反馈装置包括多个微型无刷电机、蜗杆、力反馈直角元件与磁场检测元件；

所述方法包括：

获取手部模型的初始三维坐标；

通过磁场检测，获取无刷电机的旋转偏角α₀；

基于所述无刷电机的旋转偏角α₀，和手指单个骨节的直径d，确定单个关节的旋转角度；

基于所述单个关节的旋转角度构建描述手部模型具体形态的第一矩阵T；

基于所述第一矩阵T，通过第一预设算法，确定各个关节相对掌心的坐标；

基于加速度传感器和倾角传感器采集的数据，确定手部模型的三维加速度以及手部模型围绕三轴的倾角；

基于手部模型的三维加速度以及手部模型围绕三轴的倾角，确定手部模型的实时位置；

基于所述各个关节相对掌心的坐标和所述手部模型的实时位置，确定参数信息矩阵M；

基于所述参数信息矩阵M，预测之后手指的动作得到预测参数信息矩阵Mpt；

基于所述预测参数信息矩阵Mpt或参数信息矩阵M得到实时手部模型；

基于所述实时手部模型进行碰撞检测，并提取碰撞检测时预测参数信息矩阵Mpt或参数信息矩阵M中的位置参量与倾角，以在虚拟空间对应位置生成该形态的双手；

提取预设的虚拟空间中物体的位置、形态、材质数据，并依照数据对虚拟物体进行渲染，得到手部情况；

响应于手部情况满足第一预设条件或第二预设条件，基于第二预设方法确定每个电机产生力的大小对手指实际力作用；并基于牛顿-欧拉递推动力学算法计算每个关节提供的力矩。

在一些实施例中，基于所述无刷电机的旋转偏角α0，和手指单个骨节的直径d，确定单个关节的旋转角度包括：

基于所述无刷电机的旋转偏角α₀，确定力反馈直角元件于蜗杆底端连接处的相对初始位置的偏移量kα₀；

基于所述偏移量kα₀；结合手指单个骨节的直径d，确定力反馈直角元件的旋转角度；

基于力反馈直角元件的旋转角度，确定单个关节的旋转角度。

在一些实施例中，所述第一矩阵T表示如下：

；

其中，横下标表示从大拇指至小拇指次序，纵下标表示从指根至指尖的次序；

所述基于所述第一矩阵，通过第一预设算法，确定各个关节相对掌心的坐标包括：

以掌心为原点建立三维坐标系，包括：对于食指手指，在每个指关节处建立所述三维坐标系；

取出T矩阵中第二列矩阵，指根到第二指关节有两个自由度，需要数据β24与β23，其中β24为绕z轴的旋转参量，β23为绕x轴的旋转参量；

基于欧拉角旋转公式1和欧拉角旋转公式2：

（1）

（2）

将β24代入公式1，β23代入公式2即得到两个旋转矩阵：

旋转矩阵1： ，旋转矩阵2：/>；

其中，P为指节上坐标系原点在指根坐标系下的坐标；

由此可以得到转换矩阵；

第二指关节相对掌心的坐标= 第二指关节相对指根坐标；

同理可以得到其他转换矩阵，并由此的到各个关节相对掌心的坐标。

在一些实施例中，所述预测参数信息矩阵Mpt或参数信息矩阵M中将各个关节的坐标顺序连接，连接线即为手指的骨节，以确定骨头具体姿态，对人的手指以及手指直径等参数预估后，即可对手的模型渲染，得到实时手部模型。

在一些实施例中，所述第一预设条件为操作者在抓握虚拟空间中的物体时，双手模型将于虚拟空间内的模型发生碰撞，所述碰撞是逐步检测每个骨节的模型的碰撞。

在一些实施例中，在所述第一预设条件下：

操作者右手整只手握持住物体，此时由于物体的弹性形变，现实中人的手会受到反作用力使得手指无法继续弯曲，因此手套的各个关节的无刷电机也将旋转驱动蜗杆并带动力反馈直角元件使得元件反向运动，阻碍各个骨节继续移动，从而阻止手指的弯曲，达到与现实情况相同的效果，由于重力作用，握持的小拇指与无名指将受到更大的力，因此相关无刷电机提供的驱动力也将更大，使得模拟能细致入微，让操作者感受到物体的具体重量。

在一些实施例中，在所述第一预设条件下：响应于操作者施加的力超出物体的弹性形变范围时，反馈物体损坏，握持手的手套上所有无刷电机全部停止，此时，双手可以自然移动，不受阻碍。

在一些实施例中，所述第二预设条件为用户的手部信息与预设动作相同。

在一些实施例中，在所述第二预设条件下：

依据预测参数信息矩阵Mpt或参数信息矩阵M，生成实时的可见双手模型用于表示操作者实时的双手在虚拟空间中的状态，同时生成不可见的预测双手模型，该模型不予实时模型发生碰撞，其余碰撞与实时模型相同。

在一些实施例中，所述方法还包括：

响应于手部情况满足第一预设条件或第二预设条件，将对于实时模型的命令与虚拟模型的命令传输至微处理器单元，之后微处理器单元将依照命令操作手套的电机；

响应于手套的参数信息矩阵M与上一个预测参数信息矩阵Mpt相同，则直接执行上一个预储存预测命令，

响应于手套的参数信息矩阵M与上一个预测参数信息矩阵Mpt不相同，则调用实时传输进入的命令；

每个检测周期内的预测命令都将会被储存，总共只储存一个预测命令，因此预测命令是以不断替换的形式更新。

同时，本发明还公开了一种多信息体感交互系统的控制方法装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现上述任一项所述多信息体感交互系统的控制方法。

同时，本发明还公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行上述任一项所述多信息体感交互系统的控制方法。

本发明与现有技术相比，其显著优点是：

本发明的方案的可以用于解决实现对用户的手部进行实时检测并对行为进行反馈。此手套及其交互方式的反馈迅速且精确，对每一个指关节都能进行不同力度的反馈以达到精确的模拟且计算方案仅需少量传感器便可达到精准、迅速。这种手套可用于远程操控、虚拟现实交互等用需要沉浸式交互的场景。

同时，本发明的方案判断是否需要力反馈的方法为，生成具体的手部模型并加入碰撞体积从而进行交互。相较于传统的生成手部坐标并通过距离测算是否需要力反馈的方法，该种方法可以应对所有形状，模型之间碰撞体积的材质可以根据需要修改，同时相比传统方法，该方法更加精准。

本发明的方案利用预测信息，对指令进行预储存，相比直接从电脑中输入的指令，节省了指令从电脑软件传输至微处理器单元的时间，使得手套的使用更高效，有效控制在输入与输出时，控制设备的延迟。

附图说明

图1是本实施例涉及用于虚拟现实系统的多信息体感交互手套系统的示意图；

图2是本实施例涉及的力反馈装置结构示意图；

图3为本发明实施例的多信息体感交互系统的控制方法的流程示意图；

图4为本发明实施例的反馈力计算方法示意图。

附图说明：1-微型无刷电机，2-蜗杆，3-力反馈直角元件，4-磁场检测元件，5-电源线，6-通信模块，7-耳机接口，8-扬声器，9-振动马达，10-电源键，11-压力传感器，12-角度传感器。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效系统以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。

以下将结合图1-4对本申请实施例所涉及的一种多信息体感交互系统的控制方法进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。

如图1所示，用于虚拟现实系统的多信息体感交互手套系统包括体感交互手套系统结构，智能反馈交互控制模块。

所述交互手套系统结构包括手套本体，力反馈装置（由微型无刷电机1，蜗杆2，力反馈直角元件3，磁场检测元件4组成），电源线5，通信模块6（如蓝牙模块），耳机接口7（3.5mm耳机接口），扬声器8，振动马达9（如线性振动马达），电源键10，压力传感器11，角度传感器12，加速度传感器、倾角传感器与微处理器单元（位于手背中心处）能够实现对手的形态、位置、速度、加速度、倾角等信息的检测和反馈，以及对虚拟物体的触摸和操作。

所述智能反馈交互控制模块包括无刷电机的旋转偏角检测、各个关节的旋转角度和相对位置计算、手的空间相对位置和倾角检测、数据预处理和双手模型建模。

如图2所示，力反馈装置的设计包含以下结构：

在一些实施例中，力反馈装置由多个微型无刷电机1、蜗杆2、力反馈直角元件3与磁场检测元件4组成。微型无刷电机位于手套手指关节背面，每个关节都配备相应的微型无刷电机并与蜗杆相连用于驱动对应的力反馈直角元件。蜗杆与微型无刷电机的驱动杆相连接。

在一些实施例中，力反馈直角元件的长端将紧贴手指内侧，当手指任意关节移动时，便可驱动力反馈直角元件旋转并带动微型无刷电机旋转。力反馈直角元件的两端固定于手套之上，旋转时将会围绕两端的固定点。蜗杆对力反馈直角元件上端产生横向偏移，该上端横移的同时，伸缩杆伸长，将横向位移转换成力反馈直角元件的长端的旋转。

在一些实施例中，每个力反馈直角元件长端长度与手指对应指节长度相同。

在一些实施例中，磁场检测元件位于微型无刷电机的底端，当无刷电机旋转时，内部的磁场的南北极同时旋转，磁场发生变化，磁场检测元件只需要通过检测磁极的变化便可以检测电机的偏角，从而使得手指关节的旋转角度得到检测。

在一些实施例中，多源传感器的布置包含以下内容：

在一些实施例中，加速度传感器与倾角传感器位于手背中心处，用于检测手掌相对加速度与倾角，速度与倾角从而计算手掌的具体位置，速度等数据并结合各个关节的弯曲角度在虚拟空间内生成双手模型。

在一些实施例中，通信模块，固定于手掌侧面，用于与电脑连接，传输手套的数据交予软件处理并在电脑软件处理结束后通过蓝牙将指令输入手套。

在一些实施例中，压力传感器，处于手套指尖处外部，用于方便检测手指是否与现实中的物体接触。

在一些实施例中，微处理器单元，固定于手背中心处。微处理器单元与每个微型无刷电机，振动马达，通信模块，各个传感器通过数据线相连接，数据通过数据线输入至微处理器单元。

在一些实施例中，振动马达，紧贴于掌心处用于模拟掌心的压力，通过振动马达，可以模拟掌心触碰物体的具体位置并对指关节力反馈元件无法模拟的场景进行补充。当收到微处理器单元的命令时，振动马达将产生相应振动。

在一些实施例中，耳机接口位于左手手套的手腕外侧，用于连接有线耳机；电源线位于耳机接口下方，用于给手套提供动力；扬声器与麦克风位于手腕内侧，用于给予声音反馈以及作为使用者的声音输入元件；电源键位于手腕最内侧，用于开启与关闭设备等基本控制。

在一些实施例中，倾角传感器与加速度传感器为三轴传感器，放置于手掌背面的中心处与微处理器单元紧靠。手套内部有红外装置用于佩戴检测。在每个指关节的指根处都存在角度传感器用于检测手指横向移动的偏角。

如图3所示，本发明还公开了一种多信息体感交互系统的控制方法。可以基于上述多信息体感交互系统实现。

如图3所示，该方法包括：

S1：通过长按电源键，手套将开机，此时用户需要依照对应被操作软件的所示要求进行手套位置的初始化，从而知道双手的初始位置。本实施例以常用虚拟现实设备头戴式显示器为例，初始化动作为双手抱头为例，此时软件认定此时双手已经在预设初始位置，也就是双手抱头时的位置，此时在电脑软件中便可以将已经得到手部形态的模型放置于电脑软件中头戴式显示器两侧对应位置。在此之后，手部模型将有相对虚拟空间内的空间坐标系的初始三维坐标，完成初始化位置。

S2：开机后，手套将检测是否佩戴，若佩戴手套将启动各个传感器，通过磁场检测元件检测微型无刷电机的磁场，由于微型无刷电机的特性，微型无刷电机的旋转偏角即磁场旋转变化的偏角，因此可以通过磁场检测元件检测微型无刷电机的旋转偏角α₀。通过偏角α₀计算得到蜗杆具体旋转的角度α₀，并得到力反馈直角元件于蜗杆底端连接处相对初始位置的偏移量kα₀，结合手指单个骨节的直径d，可以计算得到力反馈直角元件的旋转角度。以手指展开时的位置为初始位置，力反馈直角元件的旋转角度即手指单个关节的旋转角度β。

；

结合图1可知，手指每个关节都有对应的微型无刷电机，因此总共可以得到3*5的矩阵参量T用于反映手的具体形态，注意此时T矩阵无法反映描述手的其他参量例如手的位置，手掌的倾角等。横下标表示从大拇指至小拇指次序，纵下标表示从指根至指尖的四个关节的次序（例如β₃₂代表中指从下往上第二个关节的角度），此时有：

此时，由于人的手指仅有两个自由度，通过指根处的角度传感器便可以的到用于描述手具体形态的全部参量（例如β₁₄代表食指指根处角度传感器所检测的角度，即食指水平旋转的角度）：

具体计算方案为，掌心为原点建立三维坐标系，以食指为例，取出T矩阵中第二列矩阵，由指根到第二指关节有两个自由度，需要数据β₂₄与β₂₃，其中β₂₄为绕z轴的旋转参量，β₂₃为绕x轴的旋转参量，此时利用欧拉角旋转公式1和公式2（α与γ分别表示对于z轴的旋转角度与对于x轴的旋转角度）：公式1：

；

公式2：

；

将β24代入公式1，β23代入公式2即得到两个旋转矩阵：

转换矩阵 ；

转换矩阵；

其中，P为该指节上坐标系原点在指根坐标系下的坐标。

(x2,y2,0)为指根在掌心坐标系下的坐标。

由此可以得到转换矩阵；

第二指关节相对掌心的坐标= 第二指关节相对指根坐标。

同理可以得到其他转换矩阵，并由此的到各个关节相对掌心的坐标，并作为参数信息矩阵的一部分。

通过加速度传感器与倾角传感器便可以对手的空间相对位置与手的倾角进行检测，得到手部模型的三维加速度a_x、a_y、a_z以及围绕三轴的倾角σ_x、σ_y、σ_z。假设初始位置为（x0，y0，z0），则实时位置的计算方法为：

；

则有作为手套的参数信息矩阵的另一部分参数。

与前文所述的参数合并，得到完整的参数信息矩阵。

在参数信息矩阵M_t传输进入微处理器单元，微处理器单元对此时至前一个时钟周期内的数据流进行捕捉，并预测之后手指的动作得到预测参数信息矩阵M_pt。微处理器单元在做完上述处理后，将实时手掌的数据与预测数据通过蓝牙模块输入至电脑软件中。

S3：在电脑软件中，依据M矩阵将各个关节坐标顺序连接，连接处即为手指的骨节，由此便可以得到人手指的骨头具体姿态，对人的手指以及手指厚度等参数预估后，即可对手的模型渲染，得到手的具体形态，加入碰撞体积后，手的模型便可以进行碰撞检测。在此之后，提取M矩阵中的位置参量与倾角，即可在虚拟空间对应位置生成该形态的双手，生成手部模型。

S4：与此同时，电脑软件将会提取预设的虚拟空间中物体的位置、形态、材质等数据并依照数据对虚拟物体进行渲染，生成物体的模型。

此时将分为两种情况：

S5：情况一为：高优先级的情况： 使用者在操作手套时，虚拟空间内生成的双手模型于虚拟物体发生碰撞时，电脑软件将输出该虚拟物体的材质，并要求手套上的对应无刷电机旋转或停止，从而实现模拟。例如，操作者在抓握虚拟空间中的苹果时，电脑软件内的双手模型将于虚拟空间内的模型发生碰撞，此时的碰撞是逐步检测每个骨节的模型的碰撞，也就是说，在大拇指与食指已经握住苹果时，其他手指还并未发生碰撞时，软件只会对大拇指与食指对应碰撞的骨节反映，只操作需要模拟的无刷电机。假设操作者右手整只手握持住苹果，此时由于苹果的弹性形变，现实中人的手会受到反作用力使得手指无法继续弯曲，因此手套的各个关节的微型无刷电机也将旋转驱动蜗杆并带动力反馈直角元件使得元件反向运动，阻碍各个骨节继续移动，从而阻止手指的弯曲，达到与现实情况相同的效果，由于现实中重力作用，握持的小拇指与无名指将受到更大的力，因此相关微型无刷电机提供的驱动力也将更大，使得模拟能细致入微，让操作者感受到苹果的具体重量。若操作者继续握持苹果，假设力足够大，苹果超出弹性形变，则此时苹果碎裂，握持手的手套上所有微型无刷电机全部停止，不再有力的作用，因此双手可以自然移动，不受阻碍，与现实相同。以上握持苹果的示例仅为才考，开发者可以对虚拟空间内不同物体的具体反馈做更为细致的编程。

S6：情况二为：该形态的双手为预设的姿势，则软件将提取预设姿势手套参数矩阵生成指令并返回预设指令。例如，此时右手的姿态为趴握于鼠标之上的姿势，左手手套微型无刷电机将停止工作，即无力的状态；虚拟空间内，右手下方将依据趴握姿势生成鼠标模型，右手关节模型此时于鼠标模型完全接触，右手大拇指，无名指，小拇指在操作者继续弯曲时，于鼠标模型相碰撞，鼠标为非弹性材质，以上手指的所有微型无刷电机将全部做反向旋转，阻碍手指继续运动，即以上三个手指在微型无刷电机作用下，每个关节都将无法弯曲；右手食指与中指在继续弯曲时，由于鼠标存在按键，食指与中指的第一，二关节将可以继续弯曲，指根关节由于无刷电机作用将无法弯曲。在继续弯曲超过按键限度时，食指与中指的第一二关节电机将开始反向旋转，使得手指无法继续弯曲，手心的振动马达将振动，提示使用者，按键已经出发。由以上操作，手套将可以完全模拟现实中鼠标的点击以及趴握时的触感，达到本专利沉浸式操作的要求。以上鼠标示例仅为参考，开发者可以通过软件进行其他预设动作设置。

依据矩阵Mt与矩阵Mtt，电脑软件将生成实时的可见双手模型用于表示操作者实时的双手在虚拟空间中的状态，同时生成不可见的预测双手模型，该模型不予实时模型发生碰撞，其余碰撞与实时模型相同。基于前文所述的两种情况，软件将对于实时模型的命令与虚拟模型的命令传输至微处理器单元，之后微处理器单元将依照命令操作手套的微型无刷电机。若此时的数据手套的矩阵Mt与上一个预测的矩阵相同，则直接执行上一个预储存预测命令，节省从电脑软件将命令传入手套的时间。若不同，则调用实时传输进入的命令。每个检测周期内的预测命令都将会被储存，总共只储存一个预测命令，因此预测命令是以不断替换的形式更新。

以上两种情况，具体每个微型无刷电机产生力的大小对手指实际力矩作用的大小计算公式为：

τ = M（Θ）Θ’’ + V(Θ,Θ’) + G(Θ)

其中，τ为关节力矩，M(Θ）为n×n质量矩阵，V(Θ,Θ^’）为n×1离心力和哥氏力矢量，G(Θ)是n×1重力矢量。上式为力反馈装置的状态空间方程。注意Θ为该装置的所有角度参量的矩阵即有关所n个角度的n×1的矩阵。Θ^’为Θ对时间的导数。

根据图4的简化力反馈装置用于计算关节力矩的示意图，其中m为杆末端的质量，l为杆的长度，θ为角度，τ对应关节的力矩，下标表示其对应的杆。通过牛顿-欧拉递推动力学算法可以得到力反馈装置：（以下公式中sin函数与cos函数将会简写为s，c。例如c₂代表cosθ₂的具体值）

；

；

；

；

由前文可知电机的角度与关节角度的函数，因此可以通过计算得到Θ（此处为由θ₁与θ₂构成的2×1的矩阵）具体关于时间t的函数，以及Θ^’,Θ^’’的函数并带入公式计算得到两个关节的力矩τ₁和τ₂。

由此可以计算出每个关节产生的具体对手指关节的压力，并由此调控微型无刷电机驱动力来控制手套的力反馈效果。

S7：若非以上两种情况，默认为所有微型无刷电机与振动马达都将不启动，即微型无刷电机不提供任何阻力，操作者手任意改变姿态且振动马达不震动。

S8：长按电源键，系统停止供电，微处理器单元清除储存的数据，电脑软件删除手部模型。工作结束。

同时，本发明还公开了一种多信息体感交互系统的控制方法装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，导致所述装置实现上述任一项所述多信息体感交互系统的控制方法系统。

同时，本发明还公开了一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行上述任一项所述多信息体感交互系统的控制方法系统。

综上可知，现有技术中，由于结构原因，无法对每个手指指节都有单独的驱动元件，达到精准反馈。本专利由于每个关节都设有相应的力反馈元件，手套对手指每个骨节的力度都可以精准控制。由此可以最大化模拟场景的力的反馈，使得手套可以适用于使用虚拟鼠标，操控虚拟摇杆，取用虚拟用品，模拟手部估测物体重量等所有主动或被动造成手指弯曲的行为带来的力作用的场景。

同时，现有技术中，检测手指关节旋转的角度的元件需要与力反馈元件分开，且体积较大，造成了结构的复杂与更大的重量。本专利由于采用微型无刷电机对关节进行力反馈操作，其具体旋转角度仅需磁场检测元件便可以检测，使得整个力反馈装置占用空间小且轻便。同时，由于磁场检测元件与微型无刷电机直接相连，微型无刷电机可以快速改变力的大小从而模拟出传统电机无法模拟的振动，多段式力反馈，线性力反馈等不同的形式的力。并且，该微型无刷电机可以产生始终与操作者握持时等大反向的力，从而模拟现实中握持物体时手受到的等大反向的力。

本发明的力反馈装置中，力反馈直角元件与手指直接接触处使用的材料为弹性塑料，其在最大弹性形变产生的力不会对手指造成伤害，可以有效放置机器故障时，手指骨折等意外发生。

本发明在掌心使用的大面积振动马达应为线性马达，线性振动马达不同于转子振动马达，可以精准与某个点的振动以及模拟水流流过掌心的触感。使用该种振动马达，操作者在操作时将感受到手心触碰虚拟物体时的力反馈，并一定程度上反映物体为流体或固体。同时该振动马达可以对操作者进行有效提示。

本发明的在手腕处配有扬声器，该扬声器可以反映某些手部操作物体时发出的声音，如实施例中握碎苹果时，苹果碎裂的声音，增强操作者沉浸感，满足虚拟现实感官模拟的需求。

本发明的微处理器单元中采用了机器学习算法，用于对用户的行为进行预测，可以使得手套存在自适应性，并能不断贴合使用者的习惯，达到定制的效果。

本发明的由于每个关节都设有相应的力反馈元件，不同于现有的基于图像识别的手势识别，这种识别方式利用欧拉角与转换矩阵T直接计算每个关节的坐标可以更精确的计算手部动作与具体手势，不受光线等因素的干扰。

本发明的计算位置的方法仅需加速度传感器便可以达成，计算方式简单迅速，相较于传统方案，所需传感器更少，反映坐标的参量更直接。

本发明具体手部倾角用倾角传感器直接反应，使得手部整体倾角可以精准反馈。

本发明判断是否需要力反馈的方法为，生成具体的手部模型并加入碰撞体积从而进行交互。相较于传统的生成手部坐标并通过距离测算是否需要力反馈的方法，该种方法可以应对所有形状，模型之间碰撞体积的材质可以根据需要修改，同时相比传统方法，该方法更加精准。

本发明利用预测信息，对指令进行预储存，相比直接从电脑中输入的指令，节省了指令从电脑软件传输至微处理器单元的时间，使得手套的使用更高效，有效控制在输入与输出时，控制设备的延迟。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多信息体感交互系统的控制方法，其特征在于，所述多信息体感交互系统包括手套本体，力反馈装置，振动马达，加速度传感器，倾角传感器与微处理器；所述反馈装置包括多个微型无刷电机、蜗杆、力反馈直角元件与磁场检测元件；

所述方法包括：

获取手部模型的初始三维坐标；

通过磁场检测，获取无刷电机的旋转偏角α₀；

基于所述无刷电机的旋转偏角α₀，和手指单个骨节的直径d，确定单个关节的旋转角度；

基于所述单个关节的旋转角度构建描述手部模型具体形态的第一矩阵T；

基于所述第一矩阵T，通过第一预设算法，确定各个关节相对掌心的坐标；

基于加速度传感器和倾角传感器采集的数据，确定手部模型的三维加速度以及手部模型围绕三轴的倾角；

基于手部模型的三维加速度以及手部模型围绕三轴的倾角，确定手部模型的实时位置；

基于所述各个关节相对掌心的坐标和所述手部模型的实时位置，确定参数信息矩阵M；

基于所述参数信息矩阵M，预测之后手指的动作得到预测参数信息矩阵Mpt；

基于所述预测参数信息矩阵Mpt或参数信息矩阵M得到实时手部模型；

基于所述实时手部模型进行碰撞检测，并提取碰撞检测时预测参数信息矩阵Mpt或参数信息矩阵M中的位置参量与倾角，以在虚拟空间对应位置生成该形态的双手；

提取预设的虚拟空间中物体的位置、形态、材质数据，并依照数据对虚拟物体进行渲染，得到手部情况；

响应于手部情况满足第一预设条件或第二预设条件，基于第二预设算法确定每个电机产生力的大小对手指实际力作用；并基于牛顿-欧拉递推动力学算法计算每个关节提供的；

所述第一预设条件为操作者在抓握虚拟空间中的物体时，双手模型将于虚拟空间内的模型发生碰撞，所述碰撞是逐步检测每个骨节的模型的碰撞；所述第二预设条件为用户的手部信息与预设动作相同。

2.根据权利要求1所述的方法，其特征在于，基于所述无刷电机的旋转偏角α0，和手指单个骨节的直径d，确定单个关节的旋转角度包括：

基于所述无刷电机的旋转偏角α₀，确定力反馈直角元件与蜗杆底端连接处的相对初始位置的偏移量kα₀；

基于所述偏移量kα₀；结合手指单个骨节的直径d，确定力反馈直角元件的旋转角度；

基于力反馈直角元件的旋转角度，确定单个关节的旋转角度。

3.根据权利要求2所述的方法，其特征在于，所述第一矩阵T表示如下：

；

其中，β为力反馈直角元件的旋转角度即手指单个关节的旋转角度；横下标表示从大拇指至小拇指次序，纵下标表示从指根至指尖的次序；

所述基于所述第一矩阵，通过第一预设算法，确定各个关节相对掌心的坐标包括：

以掌心为原点建立三维坐标系，包括：对于食指手指，在每个指关节处建立所述三维坐标系；指根到第二指关节有两个自由度；将T矩阵扩展为

取出T矩阵中第二列矩阵，其中β24为绕z轴的旋转参量，β23为绕x轴的旋转参量；

基于欧拉角旋转公式1和欧拉角旋转公式2：

（1）

（2）

将β24代入公式1，β23代入公式2即得到两个旋转矩阵：

旋转矩阵1： ，旋转矩阵2：/>；

其中，P为指节上坐标系原点在指根坐标系下的坐标；

由此可以得到转换矩阵；

第二指关节相对掌心的坐标= 第二指关节相对指根坐标；

同理可以得到其他转换矩阵，并由此的到各个关节相对掌心的坐标。

4.根据权利要求3所述的方法，其特征在于，所述预测参数信息矩阵Mpt或参数信息矩阵M中将各个关节的坐标顺序连接，连接线即为手指的骨节，以确定骨头具体姿态，对人的手指以及手指直径参数预估后，即可对手的模型渲染，得到实时手部模型。

5.根据权利要求1所述的方法，其特征在于，在所述第一预设条件下：

操作者右手整只手握持住物体，此时由于物体的弹性形变，现实中人的手会受到反作用力使得手指无法继续弯曲，因此手套的各个关节的无刷电机也将旋转驱动蜗杆并带动力反馈直角元件使得元件反向运动，阻碍各个骨节继续移动，从而阻止手指的弯曲，达到与现实情况相同的效果，由于重力作用，握持的小拇指与无名指将受到更大的力，因此相关无刷电机提供的驱动力也将更大，使得模拟能细致入微，让操作者感受到物体的具体重量。

6.根据权利要求5所述的方法，其特征在于，在所述第一预设条件下：响应于操作者施加的力超出物体的弹性形变范围时，反馈物体损坏，握持手的手套上所有无刷电机全部停止，此时，双手可以自然移动，不受阻碍。

7.根据权利要求6所述的方法，其特征在于，在所述第二预设条件下：

依据预测参数信息矩阵Mpt或参数信息矩阵M，生成实时的可见双手模型用于表示操作者实时的双手在虚拟空间中的状态，同时生成不可见的预测双手模型，该模型不予实时模型发生碰撞，其余碰撞与实时模型相同。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应于手部情况满足第一预设条件或第二预设条件，将对于实时模型的命令与虚拟模型的命令传输至微处理器单元，之后微处理器单元将依照命令操作手套的电机；

响应于手套的参数信息矩阵M与上一个预测参数信息矩阵Mpt相同，则直接执行上一个预储存预测命令，

响应于手套的参数信息矩阵M与上一个预测参数信息矩阵Mpt不相同，则调用实时传输进入的命令；

每个检测周期内的预测命令都将会被储存，总共只储存一个预测命令，因此预测命令是以不断替换的形式更新。