CN105511794A - 一种支持多点触控手势操作的标绘系统及其方法 - Google Patents

Abstract

本发明涉及一种支持多点触控手势操作的标绘系统及其方法。该系统支持1至M点(M≥10)的触控标绘操作，可快速标绘具有特殊定义的由点状、线状、面状图元组成的专用图形符号，以及用触控操作方式支持各种标号编辑、地图操作与文件操作；支持识别M点的单击、双击、N连击(N≥3)、长按、平移、旋转、缩放、抛出等常规手势以及用户自定义的M点同时绘制的图形手势；可根据标号形状和定位点个数及定位点位置分布的差异，通过多种不同标绘方案进行标号绘制；使得多点触控技术真正得以应用于标绘系统中，简化了操作过程，缩短了标绘时间，丰富了标绘方式，增强了用户体验。

Description

一种支持多点触控手势操作的标绘系统及其方法

技术领域：

本发明涉及多点触控领域，具体涉及一种在触摸屏上通过多点触控手势进行标号绘制、标号编辑、地图操作与文件操作的一种系统和方法。

技术背景：

随着触摸屏技术的不断发展，触摸显示屏已经从传统的单点或两点触控发展到了多点触控，多点触控使得用户可以通过多指同时在显示界面上进行交互操作，摒弃了传统鼠标的单点操作方式。用户可以通过双手完成单击、双击、平移、按压、旋转等不同触控手势，从而实现不同的功能。相较传统的鼠标单点操作，多点触控可表达的操作信息更加丰富，因此传统交互方式下很多通过多次点击鼠标，分多步才能完成的操作，在多点触控方式下只需用手指一次触摸即可完成，使得人机交互更为直截了当，大大减少了操作时间，增强用户体验。

标绘系统为满足用户对于多点触控标绘日益增长的需求。现今已有一些支持触摸操作的标绘系统，其标绘过程大多效仿鼠标的点选标绘模式，少数支持多点触控的标绘系统其触控点数量与能识别的手势也相对局限，并没有将多元化的手指动作进行充分利用，缺少交互的自然性、高效性。

发明内容：

本发明鉴于现有技术的上述缺点做出，用于消除或缓解现有技术中存在的一个或更多个问题。

根据本发明的一个方面，提供了一种支持多点触控手势操作的标绘系统，其支持1至M点(M≥10)的触控标绘操作，可快速标绘点状、线状、面状图元组成的专用图形符号(如：点、折线、样条曲线、多箭头、不规则多边形、闭合曲线、不规则图形等)，以及图片、表格、文本框等，可进行多种标号编辑、地图操作与文件操作等。

优选地，其技术架构分为4层：

1)操作系统层，当用户在触摸屏进行操作时向上层应用发送触摸消息；

2)手势触控层，在手势识别管理器的控制下解析当前屏幕上所有触控点的信息，识别常规手势与图形手势；

3)触控标绘层，在多点触控标绘管理器的控制下根据标绘作业当前操作状态和触控手势生成各种标绘、编辑、地图操作等需要的控制信息和命令；

4)标绘应用层，通过人机交互完成标绘、编辑、地图操作等作业。

优选地，支持识别的多点触控手势主要包括“常规手势”和“图形手势”两大类：

1)常规手势，包括1至M点(M≥10)的单击、双击、N连击(N≥3)、长按、平移、旋转、缩放及抛出手势；

2)图形手势，包括用户自定义的1至M点(M≥10)同时绘制的图形信息，可根据具体触点依次按下顺序的不同以及运动方向的差异来区分轨迹相似的图形手势。

4.权利要求1所述标绘系统，其特征在于设计的手势消息结构体分为3层：

1)第一层触控数据层，存储当前屏幕上手指个数与所有独立触点的基本数据；

2)第二层常规手势信息层，存储常规手势信息，其内容包括：手势标识、手势触点个数、触点集合当前坐标以及连击、长按、平移、抛出、缩放、旋转手势的相关数据；

3)第三层图形手势信息层，存储识别出的用户自定义图形手势集合(集合元素个数Tm≤100，可用户自定义)。

优选地，标绘作业分为“常规”和“手绘”两种方式。“常规”方式标绘时，根据标号形状和定位点个数及定位点位置分布的差异，可通过多种不同标绘方案进行标号绘制。“手绘”方式标绘时，用户可以直接在图上进行手绘，然后利用识别的“图形手势”信息和图形绘制算法自动完成专用图形符号的标绘。

优选地，可以进行归类学习，每次用户成功输入并识别图形手势之后，都将此次成功识别的图形手势特征与原有图形手势库中的特征进行归类，不断优化图形手势特征库，以提高识别率。

根据一种实施方式，“常规手势”和“图形手势”分别设置了识别开关，在不需要时可以关闭，以加快标绘系统的响应速度。

附图说明：

图1是支持多点触控手势操作的标绘系统的技术架构示意图

图2是支持多点触控手势操作的标绘系统对应于架构层次的流程图

图3是支持多点触控手势操作的标绘系统未对应架构层次的流程图

图4是图3中S104识别触摸手势部分的流程图

图5是图4中S203识别常规手势部分的流程图

图6是图3中S105构建的手势消息结构体示意图

图7是图6中任一触点所维护的数据内容示意图

图8是图6中任一图形手势所维护的数据内容示意图

图9是图3中S106的多点触控标绘作业流程图

具体实施方式：

本发明提供了一种支持多点触控手势操作的标绘系统及其方法，以下结合附图以及实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

本发明支持多至M点(M≥10)的触控标绘操作，可标绘点状、线状、面状，以及其他类型标号，标绘过程更加方便快捷，标绘方式也更为丰富。

本发明按照触控手势从低级到高级，从简单到复杂的层次性，设计3层结构的手势消息结构体，包含了触控手势的所有信息，系统可根据不同的操作状态读取相关信息进行不同的处理，减少了多点触摸系统各层之间交互的频率，降低了系统的复杂性。

常规手势的实现能模拟键盘热键，作为标号编辑操作以及各种菜单、面板的快捷打开方式，节省标绘编辑操作时间。

图形手势的识别支持标绘系统预定义图形手势库以及用户自定义图形手势库中图形手势的识别。

本发明的图形手势单独设置有图形手势识别开关，在不需要识别图形手势时可以关闭，以加快手势识别响应速度。

本发明的系统技术架构分为四层：操作系统层、手势触控层、触控标绘层、标绘应用层。

1)操作系统负：责在用户对触摸屏进行操作时向上层应用发送触摸消息；

2)手势触控层：包括手势识别管理器、触控点信息获取模块、常规手势识别模块、图形手势识别模块。该层在多点触控标绘管理器的控制下生成各种标绘、编辑、地图操作等需要的控制信息和命令，具体包括接收操作系统发送的触摸消息，并解析出当前屏幕上所有触控点的信息，识别常规手势与图形手势，手势识别管理器根据识别内容对手势消息结构体进行更新并通知上层；

3)触控标绘层：包括多点触控标绘管理器、GIS模块、标号库、图形绘制模块、多种控制信息及命令生成模块，主要包括：地图的缩放和漫游；图上距离、坡度和面积等的量算；标号、文字、图片等的标绘；标号的旋转、组合、对齐、复制、删除等；文件的打开、保存、叠加等。该层的多点触控标绘管理器判断手势消息结构体的变化，并根据标绘作业当前操作状态和触控手势生成各种标绘、编辑、地图操作等需要的控制信息和命令；

4)标绘应用层：通过人机交互，完成地图操作、图上量算、图上标绘、标号编辑以及文件操作等相关作业。

以图3为例，本发明的具体标绘过程可分解为：

1)触摸屏生成原始数据，当用户触摸屏幕时触摸感应硬件接收来自用户的输入，生成原始触摸数据，驱动程序在硬件和操作系统之间进行通信；

2)操作系统发送触控消息，将操作系统生成的触摸消息发送到应用程序的注册窗口；

3)应用窗口接收触控消息，手势触控层中相应模块对接收到的系统触摸消息进行处理；

4)识别触摸手势，根据系统对于用户做出的触摸手势进行识别，确定其手势类型；

5)构建手势消息结构体内容，根据识别结果更新手势消息结构体，记录识别结果；

6)根据标绘作业当前操作状态进行响应，对应手势消息结构体中的内容在不同作业状态下分别给出相应的响应操作。

本发明定义的手势主要包括多至十点以上的“常规手势”和“图形手势”两类：

1)常规手势包括“静态手势”与“动态手势”两类。静态手势包括单击、双击、N连击(N≥3)、长按；动态手势包括平移、旋转、缩放、抛出。其中任一手势均可根据完成手势的触点个数差异进行区分(例如可区分3触点的4连击与6触点的4连击)。

2)图形手势是用户实现自定义的图形信息，可根据具体触点依次按下顺序的不同区分轨迹相似的图形手势。当用户不需要识别图形手势时，可关闭图形手势识别开关，从而加快标绘系统响应速度。

以图4为例，识别触摸手势的具体步骤可分解为：

1)S201应用程序注册窗口接收操作系统发送的触摸屏触控消息；

2)S202解析当前屏幕上所有触控点数据(触控点标示、时间、坐标、位移、状态等)，并记录；

3)S203根据每个触控点的信息和整体的速度、加速度、缩放比率、旋转角度等判断常规手势；

4)S204判断是否满足图形手势的识别条件(所有手指离开屏幕，图形手势识别开关设置为打开状态，且手指离开的时间≥设置的时间阈值)，如果满足，则对屏幕上的触控轨迹进行图形手势识别。

以图5为例，常规手势的识别步骤可为：先识别静态手势，后识别动态手势。

静态手势的识别顺序可为依次识别长按、单击、双击、N连击(N≥3)；

动态手势的识别顺序可为依次识别平移、缩放、旋转、抛出。

静态手势的一种识别算法可为：

1)S301“长按”手势：本次触控操作的所有触控点均未移动过，且距离最后一个按下的触控点的时长≥设置的时间阈值；

2)S302“单击”、“双击”、“N连击”手势：各触控点为依次按下，均未移动过，最后一个触控点抬起时连击计数器+1，距离最后一个触控点抬起的时长≥设置的时间阈值时连击手势成立；

动态手势的一种识别算法为：

1)S303“平移”手势：各触控点为依次按下，同向移动，且整体位移≥设置的阈值；

2)S304“缩放”手势：各触控点为依次按下，非同向移动，且触控手势整体的缩放比率≥设置的阈值；

4)S305“旋转”手势：各触控点为依次按下，非同向移动，且触控手势整体的旋转角度≥设置的阈值；

5)S306“抛出”手势：各触控点为依次按下，同向移动，且最后一个触控点离开屏幕时的速度≥设置的阈值。

图形手势的一种识别算法为：

建立特征库。根据用户自定义的图形手势，建立特征库；

提取特征并匹配。提取用户手绘图形A’的特征，并与特征库进行比较，计算与各自定义图形的相似度，并返回前Tm个最相似的(个数Tm用户可自定义)；

归类学习。根据用户的选择A，把当前手绘图形A’的特征更新到特征库中，并与图形A进行归类。

图3中S105所述的手势消息结构体，其一种可行的构建方式可为图6所示结构，该结构体分为三个层级：

1)第一层，触控数据层：存储当前屏幕上手指个数M与所有独立触点的基本数据，每个触点i所存储的触点详细信息其结构固定；

2)第二层，常规手势信息层：存储常规手势信息，存储常规手势信息，其内容包括：手势标识、手势触点个数、触点集合当前坐标以及连击、长按、平移、抛出、缩放、旋转手势的相关数据，本层内容是通过间接数据分析得出的，其中部分数据来自结构体中第一层有关内容的计算演化，当分析得出当前触控手势满足任一常规手势标准时，第二层的手势标识字段将置相应的手势标识为真，并填写该手势对应的相关数据字段；

3)第三层，图形手势信息层：存储识别出的用户自定义图形手势集合(集合元素个数Tm≤100，可用户自定义)，每个图形手势j所存储的图形手势详细信息其结构固定。

图6中手势消息结构体的单个触点i，其具体存储内容可为图7所示结构：

1)触点ID：唯一标识当前屏幕上的任一触点；

2)当前坐标：该触点对应于应用窗口内的实时点坐标(X,Y)；

3)触点状态：分为按下、抬起、移动、停留；

4)初始坐标：该触点手指按下时对应于应用窗口内的点坐标(X0,Y0)；

5)按下时间：该触点手指按下时的系统时间；

6)移动标识：该触点是否在手指按下之后移动过(当移动位移大于预设值时置该标识为真)。

图6中手势消息结构体的单个图形手势j，其具体存储内容可为图8所示结构：

1)图形手势ID：用于唯一标识图形手势；

2)名称：用户自定义的该图形手势字符串；

3)定位点信息：根据用户在屏幕上绘制的图形轨迹计算得出的定位点集合，以顺序点集形式存储；

4)置信度：用于量化用户在屏幕上绘制的图形手势与当前匹配出的图形手势的相似程度。

本发明的多点触控标绘作业操作状态分为地图操作、标绘作业、标号编辑3种状态，标绘作业方式分为“常规”和“手绘”2种方式，图9为多点触控标绘作业的步骤：

1)S501读取手势触控层发出的手势消息；

2)S502判断当前应用层的操作状态；

3)S503如果是“地图操作”状态，则利用消息结构体第2层的手势信息进行地图漫游、缩放操作；

4)S504如果是“标绘作业”状态，则根据当前的标绘方式利用消息结构体第1层的触控点数据和第3层的图形手势信息进行实时标绘；

5)S505如果是“标号编辑”状态，则根据不同的情况选择利用3层的信息对标号进行编辑。

本发明“地图操作”状态下多点触控信息利用方法如下：

1)“平移手势”漫游地图

2)“缩放手势”缩放地图

3)1点“双击”放大地图

4)2点“双击”缩小地图

本发明“标绘作业”状态下多点触控信息利用方法如下：

1)“常规”方式：用户首先在应用界面上选中当前要标绘某个具体的标号类A，然后在地图上按下多个触控点并滑动，利用手势触控层构建的手势消息结构体第1层的触控点数据确定标号的定位点个数并不断更新各定位点的坐标，同时根据不同标号的图形绘制算法实时预览标绘效果；

2)“手绘”方式：用户直接在地图上按下多个触控点并滑动，利用手势触控层构建的手势消息结构体第1层的触控点数据实时在屏幕上绘制用户的触摸轨迹；当所有触控点离开屏幕，手势触控层发出“图形手势”信号时，则利用手势消息结构体第3层的“图形手势”信息进行标号绘制。

本发明“常规”方式的多点触控标绘按照标号的不同性状分以下几种标绘方案：

1)点状标号(只需要1个定位点)：

a)1点按下，确定定位点，同时只标绘1个标号

b)2点按下，确定定位点和方向，同时只标绘1个标号

c)M点按下/平移，确定M个标号的定位点，同时标绘M个标号(M≥3)

点状标号的几种绘制方式如下表所示：

2)线面状标号(需要多个定位点)：

2-1)定位点个数固定且形状规则的线面标号(定位点个数为G，如直线类、矩形类、圆、三角阵地等，下表给出了其中几种可行的绘制方法)：

a)1点单击G次,分别确定G个定位点，同时只标绘1个标号；

b)G点按下,同时计算确定G个定位点，同时只标绘1个标号；

c)M点按下移动转折G-2次，按下确定起始点，移动实时计算G-2个中间点，抬起确定结束点，可同时标绘M个标号。

2-2)定位点个数不固定的线面标号(定位点个数为K，如折线、曲线、封闭图形)

a)1点单击K次+1点单击结束，确定多个定位点，同时只标绘1个标号；

b)M点移动，按下确定起始点移动实时计算中间点,抬起确定结束点,可同时标绘M个标号；

c)M点按下移动，按下确定起始点，移动实时计算中间点，抬起确定结束点，可同时标绘M个标号。

2-3)扇形/弓形/圆弧类

a)1点单击，确定圆心，+1点按下移动，确定起始角和终止角，同时只标绘1个标号；

b)1点单击，确定圆心，+2点单击，确定起始角和终止角，同时只标绘1个标号；

c)1点单击3次，分别确定圆心、起始角和终止角，同时只标绘1个标号。

2-4)单/双箭头

a)2点按下移动，按下确定2个开口点，移动实时计算中间点，抬起计算确定箭头，同时只标绘1个标号

2-5)多箭头(箭头个数为P，且P≥3)

a)M点按下移动，按下确定M个开口位置，移动实时计算中间点，抬起确定M个箭头，同时只标绘1个标号

3)其他(如图片、表格、文本框等)：

a)1点按下，确定中心定位点，按照默认大小绘制标号；

b)1点按下移动拉框，确定左上角和右下角两个定位点，按照指定的大小绘制标号。

下表选择性地给出了上述几类线面状标号的典型绘制方法示例：

本发明“手绘”方式的多点触控标绘方案如下：

1)根据手势消息结构体第3层的“图形手势”信息生成当前识别的相似图形的绘制效果，并按照“置信度”从高到低的排序向用户展示；

2)用户选择匹配的图形，如果没有则重新手绘；

3)根据用户的选择和标号绘制算法在图上绘制最终的标号。

本发明“标号编辑”状态下多点触控信息利用方法如下：

1)1个触控点时，首先根据手势消息结构体第1层的触控点数据，模拟传统鼠标消息；然后根据手势消息结构体第2层的常规手势信息和第3层的图形手势信息，判断当前的手势是否为设定的快捷手势，是则直接启动关联的功能；

2)2个以上触控点时，直接根据手势消息结构体第2层的常规手势信息和第3层的图形手势信息，判断当前的手势是否为设定的快捷手势，是则直接启动关联的功能。

本发明的“常规手势”和“图形手势”分别设置了识别开关，在不需要手势识别时可以关闭，以加快标绘系统的响应速度(如“地图操作”状态下会关闭“图形手势”识别开关，在“常规”方式“标绘作业”时则关闭所有手势识别开关，“手绘”方式“标绘作业”时则关闭“常规手势”识别开关)。

Claims (7)

1.一种支持多点触控手势操作的标绘系统，其特征在于，所述标绘系统支持1至M点的触控标绘操作，能够标绘点状、线状、面状图元组成的专用图形符号以及图片、表格、文本框，能够进行多种标号编辑、地图操作与文件操作，所述专用图形符号包括点、折线、样条曲线、多箭头、不规则多边形、闭合曲线、不规则图形，所述M≥10。

2.根据权利要求1所述标绘系统，其特征在于，所述标绘系统包括：

1)操作系统层，当用户在触摸屏进行操作时向上层应用发送触摸消息；

2)手势触控层，在手势识别管理器的控制下解析当前屏幕上所有触控点的信息，识别常规手势与图形手势；

3)触控标绘层，在多点触控标绘管理器的控制下根据标绘作业当前操作状态和触控手势生成各种标绘、编辑、地图操作等需要的控制信息和命令；

4)标绘应用层，通过人机交互完成标绘、编辑、地图操作等作业。

3.根据权利要求1所述标绘系统，其特征在于，支持识别的多点触控手势包括“常规手势”和“图形手势”：

1)常规手势包括1至M点的单击、双击、N连击、长按、平移、旋转、缩放及抛出手势，其中N≥3；

2)图形手势，包括用户自定义的1至M点同时绘制的图形信息，可根据具体触点依次按下顺序的不同以及运动方向的差异来区分轨迹相似的图形手势。

4.根据权利要求1所述的标绘系统，其特征在于，手势消息结构体分为3层：

1)第一层触控数据层，存储当前屏幕上手指个数与所有独立触点的基本数据；

2)第二层常规手势信息层，存储常规手势信息，其内容包括：手势标识、手势触点个数、触点集合当前坐标以及连击、长按、平移、抛出、缩放、旋转手势的相关数据；

3)第三层图形手势信息层，存储识别出的用户自定义图形手势集合，集合元素个数Tm≤100。

5.根据权利要求1所述的标绘系统，其特征在于，标绘作业分为“常规”和“手绘”两种方式，“常规”方式标绘时，根据标号形状和定位点个数及定位点位置分布的差异，可通过多种不同标绘方案进行标号绘制，“手绘”方式标绘时，用户可以直接在图上进行手绘，然后利用识别的“图形手势”信息和图形绘制算法自动完成专用图形符号的标绘。

6.根据权利要求3所述的标绘系统，其特征在于，可以进行归类学习，每次用户成功输入并识别图形手势之后，都将此次成功识别的图形手势特征与原有图形手势库中的特征进行归类，不断优化图形手势特征库，以提高识别率。

7.根据权利要求3所述的标绘系统，其特征在于，“常规手势”和“图形手势”分别设置了识别开关，在不需要时可以关闭。