CN115494971B - 一种电子触控笔及其输入系统 - Google Patents
一种电子触控笔及其输入系统 Download PDFInfo
- Publication number
- CN115494971B CN115494971B CN202211281031.XA CN202211281031A CN115494971B CN 115494971 B CN115494971 B CN 115494971B CN 202211281031 A CN202211281031 A CN 202211281031A CN 115494971 B CN115494971 B CN 115494971B
- Authority
- CN
- China
- Prior art keywords
- module
- information
- gesture
- image
- pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000180587 Pinnidae Species 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000005452 bending Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 206010016256 fatigue Diseases 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种电子触控笔及其输入系统,通过杂笔壳内设置图像采集模块、压力感应模块、调节模块和传输模块,在使用电子触控笔时,图像采集模块对手势信息采集来确定操作信息,调节模块根据操作信息并根据手势调节电子触控笔合适的长度和图像采集模块的角度,便于用户操作电子触控笔,压力感应模块可以接收压力信息来确定触控区域和线条粗细,传输模块将压力信息和笔尖在触控区域形成的轨迹信息传输至电子设备并在触控输入模块显示相应的输入信息,将空间手势与触控结合可以实现多种输入类型的快速输入,也提高了交互的灵活性,有效解决了因手部结构不同而出现触控识别精确度低的问题,从而提高了电子触控笔的使用范围和用户的体验度。
Description
技术领域
本发明属于电子技术领域,具体涉及一种电子触控笔及其输入系统。
背景技术
目前,手动操作的笔式交互和多点触控交互具有操作直观、自然的特点,一直被认为是很有前景的交互方式,在传统的物理笔直接方式基础上融合率电子笔感知笔压和握笔姿态等信息输入模态,从而拓宽了笔通道的输入带宽。在信息输入环节上直接利用手指而无需其他额外的输入媒介,使得用户在交互过程中可以直接获得更多的触觉反馈,触控交互中的固有属性给用户带来了更多的真实体验。日常的人机交互过程中,用户通常需要处理多种复杂的工作任务,并在不同的任务类型直接反复切换,以满足特定的操作需求。由于输入条件的限制,原本可以并行实现的操作任务往往被迫以顺序方式完成,不仅拖延了任务完成时间,还会引起手部的疲劳感,影响了触控的操作性能,而肥手指和遮挡问题,在触摸设备上直接利用手指点击或选择小目标的过程中经常会产生误操作,降低了用户的体验度。
发明内容
有鉴于此,本发明提供了一种提高操作灵活性、识别精确度和扩大适用范围的电子触控笔及其输入系统,来解决上述存在的技术问题,具体采用以下技术方案来实现。
第一方面,本发明提供了一种电子触控笔,用于通过触控输入模块向电子设备输入信息,所述电子触控笔包括:
笔壳;
笔尖,设置于所述笔壳的第一端;
图像采集模块,设置在所述笔壳的第二端,用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,所述操作信息包括书写模式、绘制模式和控制模式;
调节模块,与所述图像采集模块连接,用于根据所述操作信息和所述手势图像生成调节信息,所述调节信息所述电子触控笔的长度和所述图像采集模块的角度;
压力感应模块,设置于所述笔尖内,用于所述电子触控笔根据所述调节信息执行所述操作信息时,获取所述笔尖接触所述触控输入模块产生的多个压力信息,多个压力信息分别与所述电子触控笔接触所述触控输入模块的至少两个接触区域一一对应;
传输模块,设置于所述笔壳内,与所述压力感应模块,用于向所述电子设备发送多个压力信息,所述电子设备根据所述电子触控笔接触所述触控输入模块执行所述操作信息的轨迹信息、所述多个压力信息生成对应的输入信息。
作为上述技术方案的进一步改进,所述压力感应模块包括:
设定单元,所述操作信息为书写模式时,当所述压力感应模块接收到的压力信息的变化值小于预设压力值时,所述设定单元设定所述压力信息对应的第一线条;所述操作信息为绘制模式时,当所述压力信息的变化值大于或等于所述预设压力时,所述设定单元设定所述压力信息对应的第二线条,所述第二线条的宽度大于所述第一线条的宽度。
作为上述技术方案的进一步改进,所述压力感应模块包括:
转换单元,与所述设定单元连接,用于将所述压力信息转换成压力值,并将所述压力值发送至所述设定单元;
供电单元,与所述转换单元连接,用于给笔壳内的各个模块供电。
作为上述技术方案的进一步改进,所述图像采集模块用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,包括:
获取采集的手势图像中的手指数量和手掌位置,当手势图像未出现手掌时,则所述操作信息为书写模式;当所述手指数量为单指时,所述操作信息为控制模式;当所述手指数量为多个时,所述操作信息为绘制模式。
作为上述技术方案的进一步改进,所述轨迹信息包括笔尖在触控输入模块上的接触区域移动或点击形成的轨迹,所述输入信息包括输入类型和显示颜色,所述输入类型包括文本、图片或页面中的至少一种。
第二方面,本发明还提供了一种电子触控笔输入系统,包括包括无线连接的电子触控笔和电子设备,所述电子设备包括手势图像预处理模块、触控输入模块和控制模块,所述手势图像预处理模块接收传输模块发送的图像采集模块采集的手势进行滤波处理得到手势图像,所述控制模块根据所述手势图像生成操作信息,所述控制模块将所述操作信息发送至所述触控输入模块进行显示并调节所述电子触控笔,压力感应模块接收笔尖与触控输入模块接触产生的压力信息并通过传输模块发送至电子设备,控制模块根据轨迹信息、压力信息生成对应的输入信息。
作为上述技术方案的进一步改进,所述手势图像预处理模块的执行过程包括:
采用均值滤波算法将计算图像每个像素点邻域上各个点灰度值的灰度值,预设一幅图像为f(i,j),(i,j)为图像上的像素点,均值滤波对应的表达式为其中M为计算模板覆盖的图像像素点取值范围,n为计算模板算子所覆盖的点(i,j)邻域包含像素的个数。
作为上述技术方案的进一步改进,当图像采集模块检测到手势时,建立笛卡尔坐标系,坐标原点在控制模块的中心位置,坐标系的x轴和z轴在触控输入模块的水平面上,x轴和触控输入模块的长边平行,z轴和短边平行,坐标系的y轴垂直于触控输入模块平面且向上为正方向;
图像采集模块的每一帧图像采集根据当前的图像帧数据计算并更新数据集,每帧数据包含一个数据列表,当图像采集模块检测到手势时,控制模块给当前手势分配第一标识;
若图像采集模块未采集到手势时,控制模块将为当前手势图像分配第二标识,根据第一标识和第二标识对手部属性进行读取并确定手势信息。
作为上述技术方案的进一步改进,手势信息包括静态手势和动态手势,静态手势采用手部各个指关节和弯曲状态的组合以实现手势的识别,动态手势通过整个手的空间位置变化情况识别不同的手势。
作为上述技术方案的进一步改进,根据第一标识和第二标识对手部属性进行读取并确定手势信息,包括:
采用三维手势跟踪评估算法以手势图像中手势的端点和真实关键点之间的平均欧式距离,端点误差的表达式为其中默认单手共有21个关节点,i为关节标签号,D为数据集的样本数量,s为样本号,w和h分别为原始图像的宽和高,ysi表示标签真实值,表示预测值;
真实关键点百分比为PCK,即欧几里德距离误差低于阈值的真实关键点的百分比,其表达式为其中δ为阈值,若预测值小于真实值的距离,则将指示函数δ设为1,否则设为0。
本发明提供了一种电子触控笔及其输入系统,通过杂笔壳内设置图像采集模块、压力感应模块、调节模块和传输模块,在使用电子触控笔时,图像采集模块对手势信息采集来确定操作信息,调节模块根据操作信息并根据手势调节电子触控笔合适的长度和图像采集模块的角度,便于用户操作电子触控笔,压力感应模块可以接收压力信息来确定触控区域和线条粗细,传输模块将压力信息和笔尖在触控区域形成的轨迹信息传输至电子设备并在触控输入模块显示相应的输入信息,将空间手势与触控结合可以实现多种输入类型的快速输入,也提高了交互的灵活性,有效解决了因手部结构不同而出现触控识别精确度低的问题,从而提高了电子触控笔的使用范围和用户的体验度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明提供的电子触控笔的结构框图;
图2为本发明提供的电子触控笔输入系统的结构框图;
图3为本发明提供的压力感应模块的结构框图;
图4为本发明提供的电子触控笔的使用过程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。相反,当元件被称作“直接在”另一元件“上”时,不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
参阅图1,本发明提供了一种电子触控笔,用于通过触控输入模块向电子设备输入信息,所述电子触控笔包括:
笔壳;
笔尖,设置于所述笔壳的第一端;
图像采集模块,设置在所述笔壳的第二端,用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,所述操作信息包括书写模式、绘制模式和控制模式;
调节模块,与所述图像采集模块连接,用于根据所述操作信息和所述手势图像生成调节信息,所述调节信息所述电子触控笔的长度和所述图像采集模块的角度;
压力感应模块,设置于所述笔尖内,用于所述电子触控笔根据所述调节信息执行所述操作信息时,获取所述笔尖接触所述触控输入模块产生的多个压力信息,多个压力信息分别与所述电子触控笔接触所述触控输入模块的至少两个接触区域一一对应;
传输模块,设置于所述笔壳内,与所述压力感应模块,用于向所述电子设备发送多个压力信息,所述电子设备根据所述电子触控笔接触所述触控输入模块执行所述操作信息的轨迹信息、所述多个压力信息生成对应的输入信息。
本实施例中,所述压力感应模块包括设定单元、转换单元和供电单元,所述操作信息为书写模式时,当所述压力感应模块接收到的压力信息的变化值小于预设压力值时,所述设定单元设定所述压力信息对应的第一线条;所述操作信息为绘制模式时,当所述压力信息的变化值大于或等于所述预设压力时,所述设定单元设定所述压力信息对应的第二线条,所述第二线条的宽度大于所述第一线条的宽度;转换单元与所述设定单元连接,用于将所述压力信息转换成压力值,并将所述压力值发送至所述设定单元;供电单元与所述转换单元连接,用于给笔壳内的各个模块供电。压力感应模块可以包括至少两个压力纤维体,压力纤维体可以根据受到的压力大小发生形变,压力纤维体发生形变的程度与压力的大小相对应,压力感应模块根据至少两个压力传感器获得至少两个压力信息。图像采集模块可以是安装在笔壳的顶端,压力感应模块设置在靠近笔尖的一端,图像采集模块可以采集用户手势从而设定电子触控笔的操作模式,可以是书写、绘制或控制如鼠标功能。
参阅图2,需要说明的是,图像采集模块为微型摄像头,微型摄像头通过结构镶嵌方式设置在笔杆的笔壳末端,两端通过旋转轴连接到笔杆两侧,且旋转轴与通过两个啮合齿轮与传动马达相连,通过对马达的控制显示对摄像头角度进行调节,可以根据用户使用习惯或操作模式进行合适调节电子触控笔。传输模块可以是微信控制器或无线通信功能如蓝牙,可以将压力感应模块接收到的压力信息和笔尖在触控输入模块形成的轨迹进行显示,实现快速便捷交互。动态空间手势以挥动的方式实现,预设每经过固定次数的帧数据刷新即记录一次手掌中心的位置数据,通过两个帧数据中手掌位置的变化确定当前的动态手势类型,并记录一次动态手势,通过手掌的左右挥动实现绘制颜色的改变,每次向左或向右的动态手势将触发一次笔刷颜色的变化。
应理解,当用户使用电子触控笔式,可以根据图像采集模块识别手势设定操作信息,从而使得电子触控笔适用于不同场景,既可以书写或绘制,也可以进行简单控制,便于携带。触控输入模块为触摸屏,手指生理结构的原因,手指对光标容易产生遮挡,导致绘制过程中无法观察到光标和基线之间的相对位置并精细地调整指尖位置,绘制偏移量相对于笔输入下稍大,同时绘制时间相对笔输入稍短。而在控制模式下,手指与屏幕之间的摩擦力原因,长距离的连续滑动会造成手指接触面的不适感,影响操作的主动体验,空间手势结合触控使得电子触控笔适合进行精确操作,可以避免长距离的触控滑动操作和长时间的连续空间手势操作带来的手部不适感和对于操作性能的影响。
可选地,所述图像采集模块用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,包括:
获取采集的手势图像中的手指数量和手掌位置,当手势图像未出现手掌时,则所述操作信息为书写模式;当所述手指数量为单指时,所述操作信息为控制模式;当所述手指数量为多个时,所述操作信息为绘制模式。
本实施例中,所述轨迹信息包括笔尖在触控输入模块上的接触区域移动或点击形成的轨迹,所述输入信息包括输入类型和显示颜色,所述输入类型包括文本、图片或页面中的至少一种。电子触控笔为单点输入,输入带宽相对较高,多个手指位置的组合能够表达丰富的语义信息,手掌位置可以作为参考面议确定手势具体信息,在绘画或设计的相关工作中,大多需要用到交互式数位屏或数位板进行笔输入,在数位屏上进行线条的绘制、点击或色块选择笔刷的颜色,点击展开折叠菜单并选择画笔的粗细等,其操作任务主要包括绘制任务和命令操作任务。用户需要移动笔的输入位置,在绘制区域和命令操作区域之间多次切换,绘制过程中出现的命令操作将打断当前绘制任务的进行,在进行精确度要求较高绘制任务时,用户的绘制过程被命令操作打断后,重新回到绘制状态之前需要多次精确调整手和笔的位置,这样造成了时间上的严重浪费,使的输入效率降低。若在绘制过程中,需要多次进行命令操作如改变笔画的颜色,每一次切换回到绘制任务之前的调整过程将累加称为一种导致上臂和手部疲劳,同时造成用户心理上疲劳感,从而影响绘制操作和命令操作的能力。
需要说明的是,在操作信息为书写模式时,根据用户手部结构调节好合适的长度,操作信息为绘制模式时,可以调节摄像头角度便于快速捕捉手势图像,从而实现界面切换或颜色选择等,操作信息为控制模式时,也可以调节电子触控笔长度,方便点击或滑动以代替鼠标的功能,书写可以代替键盘的简单输入功能,在实际使用时,用户可以选择单手操作电子触控笔,也可以双手操作,根据操作的精确程度和认知负载分配操作手,认知负载与工作记忆相互关联,大脑需要调动资源进行短时间的记忆存储。信息处理和动作控制已完成相应任务。在不限制区域的触控操作下,若选择在右手上结合触控和笔操作,则触控指令手势的操作使笔尖产生移动,且用户可能会为了进行右手的触控操作而重新调整握笔的姿势,提高了电子触控笔的使用便捷性。
参阅图2,本发明还提供了一种电子触控笔输入系统,包括包括无线连接的电子触控笔和电子设备,所述电子设备包括手势图像预处理模块、触控输入模块和控制模块,所述手势图像预处理模块接收传输模块发送的图像采集模块采集的手势进行滤波处理得到手势图像,所述控制模块根据所述手势图像生成操作信息,所述控制模块将所述操作信息发送至所述触控输入模块进行显示并调节所述电子触控笔,压力感应模块接收笔尖与触控输入模块接触产生的压力信息并通过传输模块发送至电子设备,控制模块根据轨迹信息、压力信息生成对应的输入信息。
本实施例中,所述手势图像预处理模块的执行过程包括:采用均值滤波算法将计算图像每个像素点邻域上各个点灰度值的灰度值,预设一幅图像为f(i,j),(i,j)为图像上的像素点,均值滤波对应的表达式为 其中M为计算模板覆盖的图像像素点取值范围,n为计算模板算子所覆盖的点(i,j)邻域包含像素的个数。电子触控笔的使用过程包括如下步骤:
S1:采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,所述操作信息包括书写模式、绘制模式和控制模式;
S2:根据所述操作信息和所述手势图像生成调节信息,所述调节信息所述电子触控笔的长度和所述图像采集模块的角度;
S3:电子触控笔根据所述调节信息执行所述操作信息时,获取所述笔尖接触所述触控输入模块产生的多个压力信息,多个压力信息分别与所述电子触控笔接触所述触控输入模块的至少两个接触区域一一对应;
S4:向电子设备发送多个压力信息,电子设备根据电子触控笔接触所述触控输入模块执行所述操作信息的轨迹信息、所述多个压力信息生成对应的输入信息。
需要说明的是,对于输入惯用手为右手的用户而言,笔输入的操作手为右手,而触控和空间手势可以使用左手或右手进行操作。将电子触控笔作为主输入通道,需要保证持笔手为用户的管用手机右手,在使用右手持笔实现精确输入的基础上,配合左手操作触控或空间手势实现混合输入,包括两种分配方式:左手触控、右手笔和左手空间手势、右手笔,电子触控笔可以通过蓝牙或其他无线模式与电子设备连接,电子触控笔上还设置有操作按键,从而更好地替代鼠标功能,也可以根据笔尖移动距离分配操作手,在电子设备可以明确区分触控和笔的输入行为时,可以不限定触控操作的位置,利用触控的手势实现更好地输入。触控和笔的混合输入时,利用触控对笔的输入属性进行控制,操作空间的区域为交互式数位屏的操作表面,即固定尺寸的二维平面,将当前的操作平面进行划分,可以扩展输入的可操作属性的数量,电子设备可以将用户第一次书写或控制的交互结果进行存储,再下次进行输入时,可以推送该交互结果。用户也可以通过电子触控笔对电子设备进行页面切换或快捷播放,从而扩大了电子触控笔的应用范围。
可选地,当图像采集模块检测到手势时,建立笛卡尔坐标系,坐标原点在控制模块的中心位置,坐标系的x轴和z轴在触控输入模块的水平面上,x轴和触控输入模块的长边平行,z轴和短边平行,坐标系的y轴垂直于触控输入模块平面且向上为正方向;
图像采集模块的每一帧图像采集根据当前的图像帧数据计算并更新数据集,每帧数据包含一个数据列表,当图像采集模块检测到手势时,控制模块给当前手势分配第一标识;
若图像采集模块未采集到手势时,控制模块将为当前手势图像分配第二标识,根据第一标识和第二标识对手部属性进行读取并确定手势信息。
本实施例中,手势信息包括静态手势和动态手势,静态手势采用手部各个指关节和弯曲状态的组合以实现手势的识别,动态手势通过整个手的空间位置变化情况识别不同的手势。根据第一标识和第二标识对手部属性进行读取并确定手势信息,包括:采用三维手势跟踪评估算法以手势图像中手势的端点和真实关键点之间的平均欧式距离,端点误差的表达式为其中默认单手共有21个关节点,i为关节标签号,D为数据集的样本数量,s为样本号,w和h分别为原始图像的宽和高,ysi表示标签真实值,表示预测值;真实关键点百分比为PCK,即欧几里德距离误差低于阈值的真实关键点的百分比,其表达式为其中δ为阈值,若预测值小于真实值的距离,则将指示函数δ设为1,否则设为0。
在另一个可行的实施例中,电子触控笔还包括触控笔内置微处理器、无线模块和存储单元,微处理器主要完成对闪存的时钟和指令控制,存储单元用于实现所有静态信息和动态进程断电文件的存储,无线模块用于实现与电子设备相连完成实时的无线传输功能。电子触控笔存储过程为:首先是电子设备的信息通过数据线接收信息或者通过无线天线接收无线载波信号至无线模块中完成调节,然后将信息传输至存储卡接口控制芯片,从而控制时钟和数据的正常读写,控制芯片通过存储接口将信息文件存储到电子触控笔的存储单元内。触控笔传输过程为:插入触控笔直接连接电子设备,采用移动或者复制粘贴方式进行触控笔和电子设备间的信息传输;或者,通过触控笔在电子设备的触控输入模块即屏幕上操作来控制触控笔发送或接收数据,当触控笔在屏幕上完成笔势操作后,电子设备的控制模块进行指令判断是发送还是接收,触控笔发送时,先需要接收来自电子设备的控制指令,然后会将触控笔中用户需要的信息文档发送给电子设备;接收时,用户可将编辑完成文本、图片或应用进程等选择传输至触控笔中。
本发明提供的一种电子触控笔输入系统,通过杂笔壳内设置图像采集模块、压力感应模块、调节模块和传输模块,在使用电子触控笔时,图像采集模块对手势信息采集来确定操作信息,调节模块根据操作信息并根据手势调节电子触控笔合适的长度和图像采集模块的角度,便于用户操作电子触控笔,压力感应模块可以接收压力信息来确定触控区域和线条粗细,传输模块将压力信息和笔尖在触控区域形成的轨迹信息传输至电子设备并在触控输入模块显示相应的输入信息,将空间手势与触控结合可以实现多种输入类型的快速输入,也提高了交互的灵活性,有效解决了因手部结构不同而出现触控识别精确度低的问题,从而提高了电子触控笔的使用范围和用户的体验度。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (7)
1.一种电子触控笔,用于通过触控输入模块向电子设备输入信息,其特征在于,所述电子触控笔包括:
笔壳;
笔尖,设置于所述笔壳的第一端;
图像采集模块,设置在所述笔壳的第二端,用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,所述操作信息包括书写模式、绘制模式和控制模式;
调节模块,与所述图像采集模块连接,用于根据所述操作信息和所述手势图像生成调节信息,所述调节信息用于调节所述电子触控笔的长度和所述图像采集模块的角度;
压力感应模块,设置于所述笔尖内,用于所述电子触控笔根据所述调节信息执行所述操作信息时,获取所述笔尖接触所述触控输入模块产生的多个压力信息,多个压力信息分别与所述电子触控笔接触所述触控输入模块的至少两个接触区域一一对应;
传输模块,设置于所述笔壳内,与所述压力感应模块,用于向所述电子设备发送多个压力信息,所述电子设备根据所述电子触控笔接触所述触控输入模块执行所述操作信息的轨迹信息、所述多个压力信息生成对应的输入信息;
设定单元,所述操作信息为书写模式时,当所述压力感应模块接收到的压力信息的变化值小于预设压力值时,所述设定单元设定所述压力信息对应的第一线条;所述操作信息为绘制模式时,当所述压力信息的变化值大于或等于所述预设压力时,所述设定单元设定所述压力信息对应的第二线条,所述第二线条的宽度大于所述第一线条的宽度;所述压力感应模块包括:转换单元,与所述设定单元连接,用于将所述压力信息转换成压力值,并将所述压力值发送至所述设定单元;
供电单元,与所述转换单元连接,用于给笔壳内的各个模块供电;
所述轨迹信息包括笔尖在触控输入模块上的接触区域移动或点击形成的轨迹,所述输入信息包括输入类型和显示颜色,所述输入类型包括文本、图片或页面中的至少一种;图像采集模块为微型摄像头,微型摄像头通过结构镶嵌方式设置在笔杆的笔壳末端,两端通过旋转轴连接到笔杆两侧,且旋转轴通过两个啮合齿轮与传动马达相连,通过对马达的控制显示对摄像头角度进行调节。
2.根据权利要求1所述的电子触控笔,其特征在于,所述图像采集模块用于采集手势图像并根据所述手势图像生成所述电子触控笔的操作信息,包括:
获取采集的手势图像中的手指数量和手掌位置,当手势图像未出现手掌时,则所述操作信息为书写模式;当所述手指数量为单指时,所述操作信息为控制模式;当所述手指数量为多个时,所述操作信息为绘制模式。
3.一种根据权利要求1-2任一项所述的电子触控笔的电子触控笔输入系统,其特征在于,包括无线连接的电子触控笔和电子设备,所述电子设备包括手势图像预处理模块、触控输入模块和控制模块,所述手势图像预处理模块接收传输模块发送的图像采集模块采集的手势进行滤波处理得到手势图像,所述控制模块根据所述手势图像生成操作信息,所述控制模块将所述操作信息发送至所述触控输入模块进行显示并调节所述电子触控笔,压力感应模块接收笔尖与触控输入模块接触产生的压力信息并通过传输模块发送至电子设备,控制模块根据轨迹信息、压力信息生成对应的输入信息。
4.根据权利要求3所述的电子触控笔输入系统,其特征在于,所述手势图像预处理模块的执行过程包括:
采用均值滤波算法计算图像每个像素点邻域上各个点的灰度值,预设一幅图像为f(i,j),(i,j)为图像上的像素点,均值滤波对应的表达式为其中M为计算模板覆盖的图像像素点取值范围,n为计算模板算子所覆盖的点(i,j)邻域包含像素的个数。
5.根据权利要求3所述的电子触控笔输入系统,其特征在于,当图像采集模块检测到手势时,建立笛卡尔坐标系,坐标原点在控制模块的中心位置,坐标系的x轴和z轴在触控输入模块的水平面上,x轴和触控输入模块的长边平行,z轴和短边平行,坐标系的y轴垂直于触控输入模块平面且向上为正方向;
图像采集模块将采集的每一帧图像进行计算得到当前的图像帧数据并更新图像帧数据对应的数据集,每帧数据包含一个数据列表,当图像采集模块检测到手势时,控制模块给当前手势分配第一标识;
若图像采集模块未采集到手势时,控制模块将为当前手势图像分配第二标识,根据第一标识和第二标识对手部属性进行读取并确定手势信息。
6.根据权利要求5所述的电子触控笔输入系统,其特征在于,手势信息包括静态手势和动态手势,静态手势采用手部各个指关节和弯曲状态的组合以实现手势的识别,动态手势通过整个手的空间位置变化情况识别不同的手势。
7.根据权利要求5所述的电子触控笔输入系统,其特征在于,根据第一标识和第二标识对手部属性进行读取并确定手势信息,包括:
采用三维手势跟踪评估算法以手势图像中手势的端点和真实关键点之间的平均欧式距离,端点误差的表达式为 其中默认单手共有21个关节点,i为关节标签号,D为数据集的样本数量,s为样本号,w和h分别为原始图像的宽和高,ysi表示标签真实值,表示预测值;
真实关键点百分比为PCK,即欧几里德距离误差低于阈值的真实关键点的百分比,其表达式为 其中δ为阈值,若预测值小于真实值的距离,则将指示函数δ设为1,否则设为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211281031.XA CN115494971B (zh) | 2022-10-19 | 2022-10-19 | 一种电子触控笔及其输入系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211281031.XA CN115494971B (zh) | 2022-10-19 | 2022-10-19 | 一种电子触控笔及其输入系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115494971A CN115494971A (zh) | 2022-12-20 |
CN115494971B true CN115494971B (zh) | 2024-11-05 |
Family
ID=84474829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211281031.XA Active CN115494971B (zh) | 2022-10-19 | 2022-10-19 | 一种电子触控笔及其输入系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115494971B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118210390B (zh) * | 2024-04-03 | 2024-10-18 | 东莞市意志强塑胶五金有限公司 | 一种电容性触控笔的触控监测方法及系统 |
CN118394229A (zh) * | 2024-04-22 | 2024-07-26 | 深圳市左木科技有限公司 | 一种智能触控笔交互方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105278704A (zh) * | 2014-07-17 | 2016-01-27 | 致伸科技股份有限公司 | 触控笔 |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9575573B2 (en) * | 2014-12-18 | 2017-02-21 | Apple Inc. | Stylus with touch sensor |
KR102543380B1 (ko) * | 2015-04-09 | 2023-06-14 | 가부시키가이샤 와코무 | 액티브 스타일러스 및 센서 컨트롤러를 이용한 방법, 시스템, 센서 컨트롤러, 및 액티브 스타일러스 |
KR20160148959A (ko) * | 2015-06-17 | 2016-12-27 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US10146124B2 (en) * | 2016-02-23 | 2018-12-04 | Xtal, Inc. | Full chip lithographic mask generation |
CN213545237U (zh) * | 2020-12-15 | 2021-06-25 | 维沃移动通信有限公司 | 触控笔及电子设备 |
-
2022
- 2022-10-19 CN CN202211281031.XA patent/CN115494971B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105278704A (zh) * | 2014-07-17 | 2016-01-27 | 致伸科技股份有限公司 | 触控笔 |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115494971A (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115494971B (zh) | 一种电子触控笔及其输入系统 | |
US8604364B2 (en) | Sensors, algorithms and applications for a high dimensional touchpad | |
US20060119588A1 (en) | Apparatus and method of processing information input using a touchpad | |
US20070110287A1 (en) | Remote input method using fingerprint recognition sensor | |
KR20130088104A (ko) | 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법 | |
CN105824531A (zh) | 数值调整方法及装置 | |
US20070177806A1 (en) | System, device, method and computer program product for using a mobile camera for controlling a computer | |
KR20160097410A (ko) | 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치 | |
CN114816135B (zh) | 跨设备绘制系统 | |
CN114816088A (zh) | 线上教学方法、电子设备和通信系统 | |
CN210573714U (zh) | 一种电子白板的擦除装置 | |
US20070216653A1 (en) | Pointing method and system for quickly moving an object to a designated area | |
CN100394373C (zh) | 利用指点装置的应用程序执行方法及装置 | |
JP5165661B2 (ja) | 制御装置、制御方法、制御プログラム、及び記録媒体 | |
WO2023024536A1 (zh) | 一种绘图方法、装置、计算机设备及存储介质 | |
CN112565844B (zh) | 视频通信方法、装置和电子设备 | |
CN108780383A (zh) | 基于第二输入选择第一数字输入行为 | |
CN103092381A (zh) | 具有多个触控界面的电子装置以及操控三维图像的方法 | |
CN105389031A (zh) | 一种人机交互的方法与装置 | |
Signer | Pen-based interaction | |
CN108803898B (zh) | 一种组合式智能无线指端输入装置、系统及其控制方法 | |
JP7273098B2 (ja) | 操作方法 | |
JP6603325B2 (ja) | 入力端末装置 | |
US20230333731A1 (en) | Display apparatus, display system, display method, and non-transitory recording medium | |
JP5899819B2 (ja) | 学習システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |