CN112416130B - 一种智能运动检测装置及方法 - Google Patents
一种智能运动检测装置及方法 Download PDFInfo
- Publication number
- CN112416130B CN112416130B CN202011330572.8A CN202011330572A CN112416130B CN 112416130 B CN112416130 B CN 112416130B CN 202011330572 A CN202011330572 A CN 202011330572A CN 112416130 B CN112416130 B CN 112416130B
- Authority
- CN
- China
- Prior art keywords
- finger
- tendon
- light intensity
- photosensitive
- beta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种智能运动检测装置及方法,基于光电探测的数据手套相比现在的数据手套具有精度高,体积小,佩戴方便舒适,且不受障碍物和空间限制的优势。人们可以在户外活动时随身携带,其较低的功耗也可以保证长时间运行。发明的数据手套不需要包裹手指,使人们正常生产活动中使用数据手套时可以保留对外界物体的触觉。基于以上几点,所述的数据手套可以在日常生产活动中用于游戏、虚拟现实交互、远程医疗、增强现实交互等方面。
Description
技术领域
本申请涉及一种智能运动检测装置及方法,属于人机交互的输入设备领域。
背景技术
数据手套是一种用于智能化人机交互的输入设备,通过利用各类传感器例如惯性传感器、弯曲传感器、光学定位器等获取各手指偏转和弯曲信息,结合惯性传感器以输出手部真实运动状态。高精度的数据手套通常用于游戏、虚拟现实应用、远程医疗和机器人人手运动之中。
当前采集手指偏转和弯曲装置和方法可以分为接触式和非接触式。
接触式分为直接探测和间接探测两种。1.直接探测的数据手套将光栅传感器、压力传感器、弯曲传感器、惯性传感器等放置在各手指关节上以实时采集各手指运动信息。该类数据手套精度较好且不受空间限制,但缺点是佩戴不便、体积庞大、舒适性差、扩展性差,且随着传感器的增多其价格也较为昂贵。2.间接探测通过依靠光塔和摄像机捕获安置在各手指上的光学定位点发射或反射的光进行手指弯曲和移动的探测。该方法因为精度较高通常用于电影运动捕捉中,但其缺点是高精度摄像机价格昂贵,受障碍物限制、运动空间受限。
非接触式探测手指运动方法有微软的Kinect,通过深景摄像头通过采集手部的环境反射光进行手指弯曲、运动和手势的识别,常用于体感游戏中。其设备价格低但缺点是精度差,且受空间和障碍物的限制。Leapmotion则是通过高精度红外光在摄像头前创造一个锥形光场,通过探测手指在光场内运动引起的变化输出手指的弯曲和运动。其优点是精度较高,价格低,但缺点是受空间和障碍物限制,操纵不便。
手指各指节的弯曲由各手指伸肌腱和指浅、指深屈肌腱以及周围肌肉带动相应手指的指骨和关节运动,指伸肌腱均起于前臂背侧伸肌的远端,在手背和植被侧位置表浅,均走行于皮下。肌腱主体为非特化、弹性小、供血少、代谢高的致密胶原纤维束,其介电系数E与其他组织差异显著,所以光线通过该界面时会发生折射、反射等一系列界面效应。
探测肌腱及其周围组织的运动可以反映手指各部分的偏转和弯曲。
发明内容
一种智能运动检测装置,包括处理器和光敏传感器,光敏传感器放置在各肌腱上方的区域或相邻区域,用于检测各生物组织反射、吸收和/或折射后的光强,以输出身体部位偏转和/或弯曲数据。
光敏传感器放置在各手指伸屈肌腱上方的区域或相邻区域,用于检测手部各生物组织反射、吸收和/或折射后的光强,以输出各手指偏转和/或弯曲数据。
一种智能运动检测装置的设计方法,多个光敏传感器放置在各肌腱上方的区域或相邻区域;使用光敏传感器检测光经各生物组织反射、吸收和/或折射后的光强,以输出身体部位偏转和/或弯曲数据。
优选的,一种数据手套,其特征为多个光敏传感器放置在各手指伸屈肌腱上方的区域或相邻区域。通过使用光敏传感器检测光源发出的光经手部各生物组织例如表皮、真皮、脂肪、肌腱和手骨等反射、吸收、折射后的光强,以输出各手指偏转和弯曲数据。
发明所述的基于光电探测的数据手套相比现在的数据手套具有精度高,体积小,佩戴方便舒适,且不受障碍物和空间限制的优势。人们可以在户外活动时随身携带,其较低的功耗也可以保证长时间运行。发明的数据手套不需要包裹手指,使人们正常生产活动中使用数据手套时可以保留对外界物体的触觉。基于以上几点,所述的数据手套可以在日常生产活动中用于游戏、虚拟现实交互、远程医疗、增强现实交互等方面。
一种基于光电探测的数据手套装置,包括:
固定存储器ROM:存储程序和参数;
随机存取存储器RAM:临时存储计算数据;
中央处理器CPU:执行运算;
输入/输出I/O:输入/输出设备和输入/输出接口;
光源:对手部照射光;
光敏传感器:探测手部的反射光;
惯性传感器:探测三轴线加速度和角加速度;
其他传感器;
电源装置:对各级电路供电;
数模转换器:将数字信号转换成模拟信号;
模数转换器:将模拟信号转换成数字信号;
输入设备:外部输入设备;
外部设备:LCD显示设备、蓝牙设备、音响设备等。
光源可以是但不仅限于LED等发光元件,其光频率为可见光至近红外频段,波长为380nm-1260nm。该光源对手背照射光,该光源可以为多个。
光敏传感器可以是但不仅限于光敏二极管等光敏元件,其可以检测到由光源发出的光频段,并随光强幅度的变化而变化。
光源发出的光强幅度和光敏二极管接受到的由发光二级光所发出的光经过生物组织折射、反射、吸收等作用后的光强幅度经过模数转换器输入至CPU。
惯性传感器经过模数转换器输入至CPU。
CPU调用ROM中的储存的程序和参数进行运算处理,并将临时数据存储于RAM中。
CPU将运算结果通过I/O输出至外部设备。
CPU将运算结果通过数模转换器传输至各类传感器。
外部设备包括但不限于所述LCD、蓝牙装置。
所述LCD可以显示手部手势信息、系统信息等。
输入设备可以将数据输入CPU中。
CPU接受光源发出的、光敏传感器接受的光强幅度数据,然后输出各个手指、指节和指尖的偏转和弯曲等数据。CPU也可以结合光敏传感器、压力传感器、距离传感器等其他传感器共同输出各个手指、指节和指尖的偏转和弯曲等数据。
CPU具有过滤杂波和噪音的功能,通过对比所述光敏传感器接收到开启光源的信号和关闭光源的信号,去除杂波和背景噪音
所述光源有多个,并且具有相同或不同的频率,CPU对比不同光敏传感器接受的不同频段、位于不同位置的光源发出的光经过生物组织一系列作用后的光强幅度数据去除杂波和噪音。
CPU可以通过I/O接受输入设备传输的数据,这些数据包括但不限于使用者手的大小、手的形状、手的姿态、掌心位置,掌心与各手指第一指节距离和方位、各手指第一指节与各手指第二指节距离和方位、各手指第二指节与各手指第三指节距离和方位,各手指第三指节与各手指指尖距离和方位、掌心与各手指指尖的距离和方位。CPU可以将以上数据储存在ROM或临时储存在RAM中以调用。
CPU接受惯性传感器的数据以输出手掌的姿态和旋转。
CPU可以接受输入设备输入的信息,也可以接受来自RAM或ROM的信息。
以上操作都在CPU中执行。
设计的硬件电路具备去除高低频噪声功能、硬件电路包括但不限于高通滤波器、低通滤波器。
LCD可以显示手指和手部的状态,并可以根据图像或声音等方式提示通过特定的手势进行重新校准和修正。特定的手势包括单独或几根手指偏转、弯曲状态或过程,手掌处于某一姿态或某一运动过程。LCD也可以显示来自系统的信息。
光敏传感器接收到的光学幅度包括:光经过的生物组织包括但不限于皮肤、脂肪、肌肉、肌腱、静脉、动脉、骨等组织后传输到光敏传感器的光强幅度。
传感器之间、传感器与模数转换器、传感器与CPU间通过但不限于软质或硬质印刷电路板连接。
输入设备可以是键盘、触屏等设备。
一种基于光电探测的数据手套方法:
本发明设计一种探测手指偏转和弯曲方法,其特征是光源发出可见光至近红外频段的光进入手掌中,通过光敏传感器收集手部组织中的光学信息,识别手指偏转和弯曲过程中信号的特征值变化,从而通过特征值输出手指偏转和弯曲信息。
生物组织光传输模型:
由于生物组织是不透明的致密混沌组织,可见光及近红外光在其内部发生的折射、反射、吸收作用占绝大部分比例,而干涉效应及相位作用占极小比例。有研究证明未考虑干涉效应和相位作用的蒙特卡洛生物组织传输模型可以作为其他散射模型的非实验检验标准。
经典的单一生物组织的光传输方程为比尔朗伯定力,即
ut=ua+(1-g)us
I0为光源幅度,ut为总消散系数,d为组织厚度,I1为厚度d处的光强幅度;ua为吸收系数,us为散射系数,g为各向异性修正系数;
手指偏转和弯曲建模:
手部运动时,第一掌骨可以偏转和移动、第二至第五掌骨保持相对静止,所以拇指与示指、中指、环指、小指的坐标系将分别计算。建立坐标系的方法可以但不仅限于如下:
示指、中指、环指、小指:
以各手指掌指关节为零点(0,0,0)各自建立直角坐标系,当手指自然张开并使手指与手掌处在同一平面,保持该姿势各手指指向为各手指直角坐标系x轴,z轴为向下垂直于手掌的法线,y轴为同时与x轴和z轴正交的轴,方向为拇指一侧。
手指运动过程中掌指关节与手掌保持相对静止,各手指近指间关节相对于各手指掌指关节的球型坐标为(r1,α1,β1),r1为各手指近节指骨长度,α1为各手指近节指骨与y轴的夹角,β1为各手指近节指骨与z轴的夹角。各手指远指间关节相对于各手指近指间关节的球型坐标为(r2,β2),r2为各手指中节指骨长度,β2为各手指近节指骨与各手指中节指骨的夹角。各手指指尖相对于各手指远指间关节的坐标为(r3,β3),r3为各手指远节指骨的长度,β3为各手指中节指骨与各手指远节指骨的夹角。
上面参数中r1,r2,r3可经过实际测量获得,因为指深屈肌腱控制远端弯曲,所以β3为β2的函数。各手指指尖相对于各手指掌指关节的坐标只需要测量α1,β1,β2即可
球面坐标系:
各手指掌指关节为各手指坐标系的0点(0,0,0)
各手指近指间关节相对各手指掌指关节(r1,α1,β1)
各手指远指间关节相对各手指近指间关节(r2,β2)
各手指指尖相对各手指远指间关节(r3,β3)
各手指近指关节相对0点直角坐标:
x=r1·cosα1·cosβ1
y=r1·sinα1·cosβ1
z=r1·sinβ1
各手指远指关节相对各手指坐标系0点直角坐标:
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)
z=r1·sinβ1+r2·sin(β1+β2)
指尖相对于各手指坐标系0点直角坐标:
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)+r3·cosα1·cos(β1+β2+β3)
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)+r3·sinα1·cos(β1+β2+β3)
z=r1·sinβ1+r2·sin(β1+β2)+r3·sin(β1+β2+β3)
同时因为指伸肌腱与指浅、深屈肌腱控制近端和远端弯曲,所以β3=f(β2),该函数可以经过实际测量拟合得出。
所以
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)+r3·cosα1·cos(β1+β2+f(β2))
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)+r3·sinα1·cos(β1+β2+f(β2))
z=r1·sinβ1+r2·sin(β1+β2)+r3·sin(β1+β2+f(β2))
各手指指尖、近节指骨、远节指骨相对于各手指掌指关节的坐标只需要测量各手指的α1,β1,β2即可。
拇指:
由于第一掌骨可绕拇指掌指关节移动且仅有近节指骨和远节指骨。所以拇指指尖相对于拇指掌指关节的坐标如下:
以拇指掌指关节为零点(0,0,0)建立直角坐标系,当拇指自然张开并使拇指与手掌处在同一平面,保持该姿势拇指指向为拇指直角坐标系x轴,保持该姿势垂直于拇指远节指骨运动平面的为y轴,z轴为同时与x轴和y轴正交的轴。
第一掌骨的长度为r4,拇指近节指骨的长度为r5,拇指远节指骨的长度为r6,α2为第一掌骨与拇指x轴的夹角,β4为第一掌骨与拇指z轴的夹角,β5为第一掌骨与拇指近节指骨的夹角,β6为拇指近节指骨与拇指远节指骨的夹角。球面坐标系:
拇指掌指关节为坐标系0点(0,0,0);
拇指近指间关节相对拇指掌指关节(r4,α2,β4);
拇指远指间关节相对拇指近指间关节(r5,β5);
拇指指尖相对拇指远指间关节(r6,β6);
拇指指尖相对于拇指掌指关节的直角坐标;
x=r4·cosα2·cosβ4+r5·cosα2·cos(β4+β5)+r6·cosα2·cos(β4+β5+β6)
y=r4·sinα2·cosβ4+r5·sinα2·cos(β4+β5)+r6·sinα2·cos(β4+β5+β6)
z=r4·sinβ4+r5·sin(β4+β5)+r6·sin(β4+β5+β6)
以上参数,r4、r5、r6可经过实际测量获得,拇指有拇短伸肌腱和拇长伸肌腱且只有近节指骨和远节指骨,所以拇指指尖只需测得α2、β4、β5、β6即可。
光敏传感器探测肌腱运动:
手指的偏转和弯曲简化为由指尖至手腕的指伸肌腱、指浅、指深屈肌腱以及近节制骨和远节指骨组成的简单系统(拇指为拇短伸肌腱、拇长伸肌腱、拇指屈肌腱、第一掌骨、近节制骨和远节指骨组成的简单系统)。指浅、指深屈肌腱与指伸肌腱及周围肌肉通过相互收缩和拉伸使手指偏转和弯曲。手指左右移动时肌腱将随之移动,探测肌腱的位置可以描述手指的偏转和弯曲。肌腱主要由3型胶原蛋白组成,在拉伸时会产生形变,当肌腱拉伸时其高度会减小,松弛时肌腱高度升高。由于肌腱的组成部分与周围组织组成不同,导致介电系数、总消散系数与周围组织都不同。所以肌腱的位置移动将会引起光敏传感器读数变化。
探测的偏转和弯曲均由肌腱和肌腱周围手部组织带动,该方案也不考虑由外力导致的手指偏转和弯曲运动。
手部信息的输出和更新
手部信息的输出
由之前的论述可以看出,使用者在初次使用时需要采集和测量示指、中指、环指、小指的r1、r2、r3、拇指r4、r5、r6、掌心位置、手部形状,并通过输入装置输入至ROM中。结合实时测量的各手指α1、α2、β1、β2、β4、β5、β6,并通过特定手势控制单个或多个变量使用曲线拟合、机器学习、神经网络等方式对各手指C2、C3、a4、a5、β3、g(β2)、g(β1)、f(β2)、f(β1)等进行数据拟合,并求出计算所需手势参数和函数输入至ROM中以供CPU调用。
CPU通过调用各参数和函数,并根据各手指I型光敏组和II型光敏组实时测的光强幅度求出各手指α1、α2、β1、β2、β4、β5、β6,并通过I/O输出各手指的偏转和弯曲信息和,结合惯性传感器输出手部姿态以及手部大小等信息最终输出手部状态。
手部信息的更新
单个使用者的手部信息是相对固定的,即示指、中指、环指、小指的r1、r2、r3、拇指r4、r5、r6、掌心位置、手部形状等手部信息是固定的。但初次拟合的各手指C2、C3、a4、a5、β3、g(β2)、g(β1)、f(β2)、f(β1)可能会存在一定误差,该误差可以通过使用者展示LCD显示的特定手势进行减小和消除误差,该特定的手势包括但不限于通过控制手指的单个或多个变量,图10为部分特定的手势。
附图说明
图1为数据手套装置示意图;
图2为使用所述光电数据手套的一种实例;
图3为示指坐标系;
图4为拇指坐标系;
图5为I型光敏组PD1;
图6为I型光敏组PD1在仅β1变化时的光强幅度变化;
图7为I型光敏组PD1在仅β2变化时的光强幅度变化;
图8为II型光敏组PD2;
图9为II型光敏组PD2在仅α1运动时显示的光强幅度;
图10为特定的手势;
1.固定存储器ROM;2.输入/输出I/O;3.外部设备;4.输入设备;5.中央处理器CPU;6.光源;7.光敏传感器、惯性传感器、其他传感器;8.数模/模数转换器;9.电源装置;10.中指伸肌;11.示指伸肌;12.II型光敏组;13.光源;14.I型光敏组;15.拇长伸肌;16.拇短伸肌;17.环指伸肌;18.小指伸肌;19.壳体;20.近节指骨与中节指骨的夹角;21.近节指骨;22.近节指骨与z轴的夹角;23.掌指关节;24.中节指骨与远节指骨的夹角;25.指尖;26.远节指骨;27.远指间关节;28.中节指骨;29.近指间关节;30.近节指骨与y轴的夹角;31.拇指近节指骨与拇指远节指骨的夹角;32.拇指第一掌骨与拇指近节指骨的夹角;33.拇指第一掌骨与拇指z轴的夹角;34.拇指指尖;35.拇指远节指骨;36.拇指远指间关节;37.拇指近节指骨;38.拇指近指间关节;39.第一掌骨;40.第一掌骨与拇指x轴的夹角;41.拇指掌指关节;42.发光二极管LED;43.光敏传感器PD1;44.进入光敏探测器PD1的总反射光强幅度45.由发光二极管LED发出,进入该出皮肤的总光强幅度I0;46.皮肤;47.到达肌腱移动后上表面的光强幅度I1;48.光射入表皮至移动后肌腱上表面的总反射光强幅度R1;49.PD1处肌腱上表面移动前和移动后的距离d2;50.移动前肌腱位置;51.到达肌腱移动前上表面的光强幅度I2;52.肌腱移动前上表面反射的光强幅度R2;53.移动后的肌腱上表面;54.光穿过移动前肌腱上表面后的光强幅度I3;55.光穿过移动前肌腱上表面后的总反射光强幅度R3;56.移动前的肌腱上表面;57.当光源为IR时,PD1接受到的光强幅度;58.当光源为红光时,PD1接受到的光强幅度;59.当光源为绿光时,PD1接受到的光强幅度;60.当光源为绿光2时,PD1接受到的光强幅度;61.光敏传感器PD2;62.进入光敏探测器PD2的总反射光强幅度63.由发光二极管LED发出,进入该出皮肤的总光强幅度I4;64.α1最小时,即肌腱最靠左时肌腱左端的位置;65.α1最大时,即肌腱最靠右时肌腱左端的位置;66.肌腱实际左边位置;67.肌腱左边在手指横侧运动时移动范围;68.PD2可有效探测到肌腱反射光的最大位置;69.当光源为IR时,PD2接受到的光强幅度;70.当光源为红光时,PD2接受到的光强幅度;71.当光源为绿光时,PD2接受到的光强幅度;72.当光源为绿光2时,PD2接受到的光强幅度;
具体实施方式
下面结合实施例对本发明作进一步阐述。
本发明可以单独的构成一个系统,也可以作为一部分结构搭载在壳体装置中。
实例中的光电数据手套包含:ROM、RAM、CPU、电源装置、触屏、I/O、I型光敏组、II型光敏组、发光二极管、输入装置、外部显示器、壳体、柔性紧缩带。
CPU包含中央处理器、ROM、RAM及各种接口;
CPU调取ROM中的程序和数据、接受光敏二极管的数据、接受发光二极管的数据,进行各种运算和处理。CPU可以将计算后的数据临时储存于RAM中以快速调用。
I/O与多个设备相连;
ROM预先储存了使用者的手部生物特征数据用于计算手指、指节、指尖偏转和弯曲的生物特征数据,该手部生物特征数据在使用者首次使用实例装置时经过输入设备输入。
外部显示器将要求使用者展示特定的手势以计算特征数据,这些特征数据是指输出手掌姿态和旋转、各手指偏转和弯曲所需的数据,在实例中特征数据的计算方法见方法章节。计算后的特征数据将存储在ROM中。这些特征数据可以通过特定的手势进行更新和更改。
所述的特定手势和动作包括但不限于所有或单个手指张开、合紧或某一手指、指节、指尖处于某一偏转和/或某一弯曲状态。见图3。
LCD为液晶显示器,用于显示手势、要求的特定的手势、系统要求等。
输入装置例如键盘、其他设备,用于输入信息。
实例中壳体包含ROM、RAM、CPU、电源装置、触屏、I/O、发光二极管、输入装置、外部显示器等设备。
实例中所述I型光敏组包含一个光敏二极管。
实例中所述II型光敏组包含两个光敏二极管。
光敏二极管可以位于但不仅限于手背肌腱或其附近区域,接受所述光源的发出的光经过组织反射、折射、吸收等一系列作用后的光强幅度。光敏传感器可以为1个或多个。光敏传感器将接受的光强幅度数据经过模数转换器传输至CPU中。光敏二极管可接受到可见光至近红外频段的光强幅度。实例中光敏二极管的位置见图2。
以示指为例:
I型光敏组-1个光敏传感器位于各手指伸肌腱靠近腕背区域上方:
I型光敏组包括一个光敏传感器组成,该光敏传感器称为PD1,其作用是探测肌腱在垂直方向上的运动状态。在垂直方向上PD1接收到的生物信号包括皮肤层、脂肪层、肌腱、手骨、动脉及静脉,其中皮肤层、脂肪层、手骨等信号为固定直流信号,静脉和动脉中因血红蛋白含量引起的交流信号变化较小,大部份信号强弱的改变是由于肌腱的移动所造成。适当PD1的探测位置和范围使得肌腱左右产生的反射信号远小于肌腱上下移动产生的光强幅度差异,由于肌腱垂直运动引起的PD1信号强度变化将远远大于左右移动导致的变化。以比尔朗伯传输方程建立以下组织光传输模型:见图5
根据比尔朗伯定理,到达肌腱移动后上表面的光强幅度I1是I0经过组织吸收、散射衰减后的值,其表达式如下:
其中ut1为皮肤至移动后肌腱上表面组织的总消散系数,d1为皮肤至移动后肌腱上表面的距离,该部分产生的反射光强度为R1,考虑到皮肤表层的形变量小,假设在I0不变时,R1为定值。
到达肌腱移动前上表面的光强为I2,其表达式如下:
ut2为肌腱移动前肌腱上表面移动区域的总消散系数,d2为肌腱上表面移动的距离,其中d2为β1和β2的函数。由于肌腱与周围组织的介电系数差异较大,所以在其界面会发生反射现象,其肌腱上表面反射的光强幅度R2表达式如下:
R2=n2·I2
n2为肌腱上表面处的反射率;
由肌腱上表面反射至光敏探测器PD1的光强幅度R4为:
I3为穿过肌腱的光强幅度,n3为肌腱上表面的透射率,其表达式为:
I3=n3·I2
光穿过肌腱后的总反射光强幅度为R3,n4为肌腱下方总的反射率:
R3=n4·I3
光穿过肌腱后反射到PD1的光强幅度R5为:
当d2=0时,PD1接收到的总光强幅度R1med:
由于R1、n2、n3、n4、ut1、d1、I1、ut2在PD1处为定值,令
b1=-2ut2
所以
当β1变化,β2不变时的,PD1的数值,经过归一化处理后,见图6;
当β2变化,β1不变时的,PD1的数值,经过归一化处理后,见图7;
PD1的变化与d2的变化呈函数关系,所以
d2=f(β2)+f(β1)
图6为I型光敏组PD1在仅β1变化时的光强幅度变化;
图7为I型光敏组PD1在仅β2变化时的光强幅度变化;
II组光敏组-2个光敏传感器分别位于各手指伸肌腱靠近第一指节区域上方两侧。
II型光敏组包括两个光敏探测器,称为PD2和PD3,分别位于各手指伸肌腱上方两侧,其作用是探测该处肌腱的横侧及垂直位置,通过适当放置两个光敏探测器,使得PD2和PD3不能覆盖肌腱全部区域即肌腱仅左右移动时PD2和PD3的探测值会有变化。由于PD2和PD3关于肌腱对称,故以PD2为例,根据比尔朗伯定理建立以下模型:见图8;
左右移动
由于PD2与PD3探测的为同一肌腱,且肌腱左右移动时比例相等,方向相反所以
x2+x3=1
d3=d4
图9是II型光敏组PD2在仅α1运动时显示的光强幅度;
上下移动
当左右不变时,
b2为PD2处的b1,b3为PD3处的b1;
由于PD2和PD3探测为同一根肌腱,所以b2=b3;
a2为PD2处的a1,与a1不同的是,a2受肌腱左右移动的变化而改变,见图9,所以
a2=C2+a4x2
C2为d3=0时,19-22区域的a1;a4为d3=0时,18-19区域的a1,同理
a3=C3+a5x3
C3为d4=0时,19-22区域的a1;a5为d4=0时,18-19区域的a1;
b2为PD2处的b1,为定值,b3为PD3处的b1,为定值;
又因b2=b3,d3=d4,所以
x=f(α1)
d3=d4=g(β2)+g(β1)
对于示指、中指、环指、小指,由于I型光敏组和II型光敏组探测位置不同,所以g(β2)+g(β1)与f(β2)+f(β1)不共线,即可以求出β1和β2。
对于拇指,两个II型光敏组分别位于拇短伸肌腱和拇长伸肌腱上方,所以可以求出β4、β5、β6。
本申请虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本申请的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本申请技术方案的保护范围。
Claims (6)
1.一种智能运动检测装置,其特征在于:包括处理器和光敏传感器,光敏传感器放置在各肌腱上方的区域或相邻区域,用于检测各生物组织反射、吸收和/或折射后的光强,以输出身体部位偏转和/或弯曲数据;所述光敏传感器包括I型光敏组和II型光敏组,I型光敏组包括一个光敏传感器,其作用是探测肌腱在垂直方向上的运动状态;II型光敏组包括两个光敏探测器,分别位于各手指伸肌腱上方两侧,其作用是探测该处肌腱的横侧及垂直位置;光敏传感器放置在各手指伸屈肌腱上方的区域或相邻区域,用于检测手部各生物组织反射、吸收和/或折射后的光强,以输出各手指偏转和/或弯曲数据;
光敏探测器PD2探测肌腱左右移动的比例为x2;d3为光敏探测器PD2处肌腱上表面与当手指近节指骨与z轴的夹角β1=0、
x2+x3=1
d3=d4。
2.根据权利要求1所述的智能运动检测装置,其特征在于:
b2为PD2处的b1,b3为PD3处的b1;
b2=b3;
a2为PD2处的a1,与a1不同的是,a2受肌腱左右移动的变化而改变,
a2=C2+a4x2
C2为d3=0时,19-22区域的a1;a4为d3=0时,18-19区域的a1,同理
a3=C3+a5x3
C3为d4=0时,19-22区域的a1;a5为d4=0时,18-19区域的a1;
b2为PD2处的b1,为定值,b3为PD3处的b1,为定值;
又因b2=b3,d3=d4,所以
x=f(α1)
d3=d4=g(β2)+g(β1)。
3.根据权利要求1-2任一项所述的智能运动检测装置,其特征在于:处理器与输入/输出接口、固定存储器、随机存取存储器、输入/输出设备、数模转换器、模数转换器电连接,数模转换器、模数转换器与光敏传感器、光源电连接,电源装置为各级电路供电。
4.根据权利要求1所述的智能运动检测装置的智能运动检测方法,其特征在于:对手指偏转和弯曲建模,手部运动时,第一掌骨可以偏转和移动、第二至第五掌骨保持相对静止,所以拇指与示指、中指、环指、小指的坐标系将分别计算;根据比尔朗伯定理,到达肌腱移动后上表面的光强幅度I1是I0经过组织吸收、散射衰减后的值,其表达式如下:
其中ut1为皮肤至移动后肌腱上表面组织的总消散系数,d1为皮肤至移动后肌腱上表面的距离,该部分产生的反射光强度为R1,考虑到皮肤表层的形变量小,假设在I0不变时,R1为定值;
到达肌腱移动前上表面的光强为I2,其表达式如下:
ut2为肌腱移动前肌腱上表面移动区域的总消散系数,d2为肌腱上表面移动的距离,其中d2为β1和β2的函数;由于肌腱与周围组织的介电系数差异较大,所以在其界面会发生反射现象,其肌腱上表面反射的光强幅度R2表达式如下:
R2=n2·I2
n2为肌腱上表面处的反射率;
由肌腱上表面反射至光敏探测器PD1的光强幅度R4为:
I3为穿过肌腱的光强幅度,n3为肌腱上表面的透射率,其表达式为:
I3=n3·I2
光穿过肌腱后的总反射光强幅度为R3,n4为肌腱下方总的反射率:
R3=n4·I3
光穿过肌腱后反射到PD1的光强幅度R5为:
当d2=0时,PD1接收到的总光强幅度R1med:
由于R1、n2、n3、n4、ut1、d1、I1、ut2在PDl处为定值,令
b1=-2ut2
所以
PD1的变化与d2的变化呈函数关系,d2=f(β2)+f(β1)。
5.根据权利要求4所述的智能运动检测方法,其特征在于:以各手指掌指关节为零点(0,0,0)各自建立直角坐标系,当手指自然张开并使手指与手掌处在同一平面,保持该姿势各手指指向为各手指直角坐标系x轴,z轴为向下垂直于手掌的法线,y轴为同时与x轴和z轴正交的轴,方向为拇指一侧。
6.根据权利要求5所述的智能运动检测方法,其特征在于:手指运动过程中掌指关节与手掌保持相对静止,各手指近指间关节相对于各手指掌指关节的球型坐标为(r1,α1,β1),r1为各手指近节指骨长度,α1为各手指近节指骨与y轴的夹角,β1为各手指近节指骨与z轴的夹角;各手指远指间关节相对于各手指近指间关节的球型坐标为(r2,β2),r2为各手指中节指骨长度,β2为各手指近节指骨与各手指中节指骨的夹角;各手指指尖相对于各手指远指间关节的坐标为(r3,β3),r3为各手指远节指骨的长度,β3为各手指中节指骨与各手指远节指骨的夹角;球面坐标系:
各手指掌指关节为各手指坐标系的0点(0,0,0)
各手指近指问关节相对各手指掌指关节(r1,α1,β1)
各手指远指间关节相对各手指近指间关节(r2,β2)
各手指指尖相对各手指远指间关节(r3,β3)
各手指近指关节相对0点直角坐标:
x=r1·cosα1·cosβ1
y=r1·sinα1·cosβ1
z=r1·sinβ1
各手指远指关节相对各手指坐标系0点直角坐标:
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)
z=r1·sinβ1+r2·sin(β1+β2)
指尖相对于各手指坐标系0点直角坐标:
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)+r3·cosα1·cos(β1+β2+β3)
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)+r3·sinα1·cos(β1+β2+β3)
z=r1·sinβ1+r2·sin(β1+β2)+r3·sin(β1+β2+β3)
同时因为指伸肌腱与指浅、深屈肌腱控制近端和远端弯曲,所以β3=f(β2),该函数可以经过实际测量拟合得出;
所以
x=r1·cosα1·cosβ1+r2·cosα1·cos(β1+β2)+r3·cosα1·cos(β1+β2+f(β2))
y=r1·sinα1·cosβ1+r2·sinα1·cos(β1+β2)+r3·sinα1·cos(β1+β2+f(β2))
z=r1·sinβ1+r2·sin(β1+β2)+r3·sin(β1+β2+f(β2))。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011330572.8A CN112416130B (zh) | 2020-11-24 | 2020-11-24 | 一种智能运动检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011330572.8A CN112416130B (zh) | 2020-11-24 | 2020-11-24 | 一种智能运动检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112416130A CN112416130A (zh) | 2021-02-26 |
CN112416130B true CN112416130B (zh) | 2023-03-21 |
Family
ID=74778046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011330572.8A Active CN112416130B (zh) | 2020-11-24 | 2020-11-24 | 一种智能运动检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112416130B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0211984A1 (en) * | 1985-08-19 | 1987-03-04 | Inc. Vpl Research | Computer data entry and manipulation apparatus |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2418562B1 (en) * | 2010-08-13 | 2013-04-17 | Deutsches Primatenzentrum GmbH (DPZ) | Modelling of hand and arm position and orientation |
US20140031698A1 (en) * | 2012-05-02 | 2014-01-30 | San Diego State University Research Foundation | Apparatus and method for sensing bone position and motion |
AU2014381638B2 (en) * | 2014-02-10 | 2018-03-08 | Apple Inc. | Motion gesture input detected using optical sensors |
US10488936B2 (en) * | 2014-09-30 | 2019-11-26 | Apple Inc. | Motion and gesture input from a wearable device |
WO2016121034A1 (ja) * | 2015-01-28 | 2016-08-04 | 株式会社ウェアラブルデバイス総合研究所 | ウェアラブル装置、入力方法及びプログラム |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10806375B2 (en) * | 2017-05-03 | 2020-10-20 | The Florida International University Board Of Trustees | Wearable device and methods of using the same |
US10466783B2 (en) * | 2018-03-15 | 2019-11-05 | Sanmina Corporation | System and method for motion detection using a PPG sensor |
TWI683237B (zh) * | 2018-07-19 | 2020-01-21 | 宏碁股份有限公司 | 使用仿生韌帶之手勢感應系統 |
US20200150772A1 (en) * | 2018-11-09 | 2020-05-14 | Google Llc | Sensing Hand Gestures Using Optical Sensors |
-
2020
- 2020-11-24 CN CN202011330572.8A patent/CN112416130B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0211984A1 (en) * | 1985-08-19 | 1987-03-04 | Inc. Vpl Research | Computer data entry and manipulation apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN112416130A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11301048B2 (en) | Wearable device for detecting light reflected from a user | |
Jiang et al. | Emerging wearable interfaces and algorithms for hand gesture recognition: A survey | |
McIntosh et al. | Echoflex: Hand gesture recognition using ultrasound imaging | |
Smeragliuolo et al. | Validation of the Leap Motion Controller using markered motion capture technology | |
EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
EP3265895B1 (en) | Embedded grasp sensing devices, systems, and methods | |
Yeo et al. | Opisthenar: Hand poses and finger tapping recognition by observing back of hand using embedded wrist camera | |
TWI487505B (zh) | 肌動訊號輸入裝置、人機操作系統及其辨識方法 | |
Heo et al. | A realistic game system using multi-modal user interfaces | |
EP3203350A1 (en) | Wearable controller for wrist | |
US20140031698A1 (en) | Apparatus and method for sensing bone position and motion | |
Baker et al. | Kinematics of the fingers and hands during computer keyboard use | |
US20200201433A1 (en) | Flex Force Smart Glove for Measuring Sensorimotor Stimulation | |
CN210776590U (zh) | 一种可拉伸柔性贴附式手部精细动作捕捉装置 | |
Karashanov et al. | Application for hand rehabilitation using leap motion sensor based on a gamification approach | |
Chophuk et al. | Hand postures for evaluating trigger finger using leap motion controller | |
Yue et al. | How to achieve human–machine interaction by foot gesture recognition: a review | |
CN102023707A (zh) | 基于dsp-pc机器视觉系统的斑纹式数据手套 | |
CN112416130B (zh) | 一种智能运动检测装置及方法 | |
Xiong et al. | Investigation of gesture recognition based on optical fiber Bragg grating sensors | |
Shahmohammadi et al. | On lightmyography: A new muscle machine interfacing method for decoding human intention and motion | |
Saggio et al. | Sensory systems for human body gesture recognition and motion capture | |
Zhu et al. | Machine-learning-assisted soft fiber optic glove system for sign language recognition | |
Fazeli et al. | A virtual environment for hand motion analysis | |
Karime et al. | Determining wrist reference kinematics using a sensory-mounted stress ball |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |