Nothing Special   »   [go: up one dir, main page]

CN113778313A - 手势触控方法、装置、电子设备和存储介质 - Google Patents

手势触控方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113778313A
CN113778313A CN202110949494.8A CN202110949494A CN113778313A CN 113778313 A CN113778313 A CN 113778313A CN 202110949494 A CN202110949494 A CN 202110949494A CN 113778313 A CN113778313 A CN 113778313A
Authority
CN
China
Prior art keywords
touch
touch operation
gesture
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110949494.8A
Other languages
English (en)
Other versions
CN113778313B (zh
Inventor
徐海
范永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110949494.8A priority Critical patent/CN113778313B/zh
Publication of CN113778313A publication Critical patent/CN113778313A/zh
Application granted granted Critical
Publication of CN113778313B publication Critical patent/CN113778313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提出一种手势触控方法、装置、电子设备和存储介质，其中，方法包括：终端的操作系统监测得到第一触控操作以及第二触控操作，在第一触控操作的触控面积大于阈值的情况下，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令，执行目标指令，实现了在不影响操作系统原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。

Description

手势触控方法、装置、电子设备和存储介质
技术领域
本公开涉及触控技术领域，尤其涉及一种手势触控方法、装置、电子设备和存储介质。
背景技术
目前，触控屏已经是电子产品的标配，在搭载安卓系统的电子产品上，快捷手势是安卓系统的基础功能。而随着应用程序中功能的增加，快捷手势需要不断的扩展，同时还需要防止产生误触的现象，以提高触控的便捷性。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开提出一种用于扩充快捷手势，同时提高了快捷手势灵活性的手势触控方法。
本公开第一方面实施例提出了一种手势触控方法，所述方法由终端的操作系统执行，包括以下步骤：
监测得到第一触控操作以及第二触控操作；其中，所述第一触控操作的触控面积大于阈值；
根据所述第一触控操作和所述第二触控操作，从系统控制指令中确定对应的目标指令；
执行所述目标指令。
本公开第二方面实施例提出了一种手势触控装置，包括：
监测模块，用于监测得到第一触控操作以及第二触控操作；其中，所述第一触控操作的触控面积大于阈值；
第一确定模块，用于根据所述第一触控操作和所述第二触控操作，从系统控制指令中确定对应的目标指令；
执行模块，用于执行所述目标指令。
本公开第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述第一方面所述的方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行的情况下，实现如前述第一方面所述的方法。
本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的计算机程序被处理器执行时，实现如前述第一方面所述的方法。
本公开实施例提供的技术方案包含如下的有益效果：
终端的操作系统监测得到第一触控操作以及第二触控操作，其中，第一触控操作的触控面积大于阈值，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令，执行目标指令，实现了在不影响操作系统原有原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种手势触控方法的流程示意图；
图2为本公开实施例提供的另一种手势触控方法的流程示意图
图3为本公开实施例的一种拟合的目标轮廓线的示意图；
图4为本公开实施例提供的一种菜单展示的示意图；
图5为本公开实施例提供的一种对象确定的示意图之一；
图6为本公开实施例提供的一种对象确定的示意图之二；
图7为本公开实施例提供的一种对象确定的示意图之三；
图8为本公开实施例提供的一种手势触控装置的结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的手势触控方法、装置、电子设备和存储介质。
相关技术中，终端中多指触控操作的手势，操作系统都已经分发给了各个应用程序，操作系统本身不能再处理这类手势，例如，在图库的应用程序中，双指触控操作用于放大或缩小图片。此时，当用户需要利用多指的快捷操作来调节屏幕亮度或者音量时，则无法实现，降低了便捷性。
为此，本公开实施例提供了一种手势触控方法，监测得到第一触控操作和第二触控操作，确定第一触控操作大于阈值，根据第一触控操作和第二触控操作对应的多指触控操作，从系统控制指令中确定目标指令，实现了在不影响操作系统原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。
图1为本公开实施例所提供的一种手势触控方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，监测得到第一触控操作以及第二触控操作。
本公开实施例的执行主体为终端的操作系统。其中，终端可以为配置了触控屏幕的电子设备，例如，手机、平板电脑、智能穿戴设备等，本实施例中不一一列举。
本公开实施例的一种场景下，在用户需要在终端上执行相应操作的情况下，例如，在图库应用程序中，用户需要调节亮度时，会执行第一触控操作和第二触控操作，从而终端的操作系统可基于触控屏幕上各像素点的电参数，例如，电压变化，或电容量变化，以监测到第一触控操作和第二触控操作。其中，第一触控操作和第二触控操作可以是同时监测到的，也可以是先监测得到第一触控操作，又监测得到第二触控操作。其中，第一触控操作和第二触控操作，为双指的触控操作，例如，大拇指和食指的双指触控操作，或者是食指和中指的双指触控操作，本实施例中不进行限定。其中，第一触控操作和第二触控操作可以相同，也可以不同，例如，第一触控操作为按压的触控操作，第二触控操作为按压的触控操作；第一触控操作为按压的触控操作，第二触控操作为滑动的触控操作；第一触控操作为按压的触控操作，第二触控操作为双击的触控操作；第一触控操作为按压的触控操作，第二触控操作为按压画圈的触控操作。其中，对于第一触控操作和第二触控操作的其它实现方式，本实施例中不一一列举。
需要说明的是，在监测到第二触控操作时，第一触控操作仍处于触控状态，以实现双指的触控操作。
步骤102，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令。
本实施例中，在监测到第一触控操作的情况下，识别第一触控操作的触控面积，在第一触控操作的触控面积大于阈值的情况下，根据第一触控操作和监测到的第二触控操作，从系统控制指令中确定对应的目标指令，例如，第一触控操作为手指按压的触控操作，当监测到手指按压操作的面积大于阈值时，例如，采用大拇指进行按压操作，触控面积较大，则识别为触控面积大于阈值，则根据监测到的食指左右滑动的触控操作和拇指按压的触控操作，从系统指令中，确定对应的目标指令为调节亮度。
步骤103，执行目标指令。
进而，根据确定的目标指令，执行目标指令，实现对应的操作。
本公开实施例中，终端的操作系统根据监测到的第一触控操作和第二触控操作，在监测到第一触控操作的触控面积大于阈值的情况下，操作系统不会将第一触控操作和第二触控操作的事件发送至应用程序，从而应用程序不会执行原本系统分发给应用程序的第一触控操作和第二触控操作对应的指令，而是由操作系统从系统控制指令中确定和第一触控操作和第二触控操作对应的目标指令，实现了在不影响原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。例如，在视频应用程序中，若应用程序中，预先定义了双指触控操作为调节亮度，而本公开实施例中，可以通过识别双指触控操作中第一触控操作的触控面积，将双指触控操作扩充为实现快进或音量调整的指令，提高了手势触控操作的便捷性。
本公开实施例的手势触控方法中，终端的操作系统监测手势触控操作，以得到第一触控操作以及第二触控操作，在第一触控操作的触控面积大于阈值的情况下，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令，执行目标指令，实现了在不影响操作系统原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。
基于上一实施例，本实施例提供了另一种手势触控方法，图2为本公开实施例提供的另一种手势触控方法的流程示意图。
如图2所示，该方法可以包括以下步骤：
步骤201，监测手势触控操作。
步骤202，在监测到第一触控操作的情况下，识别第一触控操作的触控面积。
在本公开实施例的一种实现方式中，根据设定形状，对第一触控操作的触控区域进行轮廓线拟合，得到目标轮廓线，例如，通过最小二乘法拟合轮廓线上的点，得到目标轮廓线。根据目标轮廓线内的面积，确定触控面积。本公开实施例中，目标轮廓线可以呈现多组形状，由于用户手指按压的方式，目标轮廓线通常呈现圆形或椭圆形，下面分别说明针对目标轮廓线呈现不同形状时，目标轮廓线内的面积进行计算。
作为一种实现方式，目标轮廓线呈圆形，根据目标轮廓线包围区域的中心点，确定经过中心点的各个轴的长度，将各个轴的长度取平均值确定圆形轮廓线的半径，根据半径确定圆形目标轮廓线内的面积。
作为另一种实现方式，目标轮廓线呈椭圆形，根据目标轮廓线包围区域的中心点，确定经过中心点的长轴和短轴的长度，根据长轴和短轴的长度，确定目标轮廓线内的面积。
图3为本公开实施例的一种拟合的目标轮廓线的示意图。如图3所示，M为目标轮廓线包围区域的中心点，L为经过中心点的长轴，S为经过中心点的短轴，根据椭圆的面积公式，确定
Figure BDA0003217875730000071
步骤203，确定第一触控操作的触控面积大于阈值，则继续监测手势触控操作，以得到第二触控操作。
本公开实施例中，在监测到第一触控操作时，通过拟合计算第一触控操作的触控面积，判断是否存在大面积按压事件，也就是说在监测到第一触控操作的触控面积大于阈值的情况下，视为存在自定义的大面积触控事件，进而继续监测手势触控操作，例如，在监测到第一触控操作的触控面积大于阈值时，等待设定时长，如几百毫秒，再监测以得到第二触控操作，避免了第一触控操作的误触发，提高了第一触控操作和第二触控操作监测的准确性。同时，不会将第一触控操作的触控面积大于阈值的大面积按压事件，以及第二触控操作向操作系统承载的应用程序发送指示消息，以实现自定义的便捷触控功能。
例如，第一触控操作为大拇指按压，由于大拇指按压时按压的面积较大，可预先根据大拇指按压的面积确定阈值，从而，在监测到第一触控操作的触控面积大于阈值时，识别到大拇指按压。在监测到是大拇指大面积按压时，继续监测第二触控操作，例如包含左右滑动、上下滑动，双击操作，划圆操作等，本实施例中不一一列举。
需要说明的是，在监测到第一触控操作的触控面积大于阈值的情况下，第一触控操作和第二触控操作对应的目标指令是从系统控制指令中确定的，而不是相应应用程序中预先接收到操作系统设定的指令，从而实现了在监测到自定义的触发事件时，可以实现自定义的便捷触控功能。例如，在图库应用程序中，监测到第一触控操作和第二触控操作时，例如，拇指按压和食指左右滑动的双指触控操作，确定的指令为放大或缩小图片，而本公开实施例中，在监测到大拇指按压的触控操作的面积大于阈值时，根据继续监测到的食指左右滑动的触控操作，则从系统控制指令中确定该双指触控操作对应的指令为调节屏幕亮度，因此，实现了在不影响原有双指触控操作的控制指令的情况下，扩展了快捷触控操作，增加了便利性。
需要理解的是，双指触控操作对应的目标指令，可根据需求灵活设定，本公开实施例不进行限定。
在本实施例的一种实现方式中，为了提高用户体验，确定第一触控操作的触控面积大于阈值，则展示用于提示执行第二触控操作的提示信息，例如，屏幕高亮显示，或者是屏幕周边按照设定颜色点亮设定时间，又或者是弹出弹窗进行提示，本实施例中不一一列举，以提示用户执行第二触控操作，并继续监测手势触控操作，以得到第二触控操作，以更好的识别用户的真实意图，提高了触控操作识别的可靠性。
步骤204，确定触控面积小于或等于阈值，则向操作系统承载的应用程序发送指示消息。
本公开实施例中，在触控面积小于或等于阈值的情况下，视为未监测到自定义的大面积触控事件，从而在触控面积小于或等于阈值的情况下，向操作系统承载的应用程序发送指示消息，以使得相应应用程序根据指示消息，确定监测到的第一触控操作，或者是监测到的第一触控操作和第二触控操作，对应的操作系统预先分配的指令，也就是说在触控面积小于或等于阈值的情况下，由应用程序处理相应的触控手势，而不是由系统处理相应的触控手势，使得应用程序中原有的触控操作对应的控制指令不受影响。
步骤205，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令。
表1中列出了第一触控操作和第二触控操作和目标指令的对应关系，其中例如，第一触控操作为大拇指的触控操作，第二触控操作为食指的触控操作。
第一触控操作 第二触控操作 目标指令
大拇指按压 食指左右滑动 调节屏幕亮度
大拇指按压 食指上下滑动 调节音量
大拇指按压 食指双击 屏幕系统截图
大拇指按压 食指划圈 截取指定位置内容
其中，表1中示出了部分双指触控操作和目标指令的对应关系，对于其它双指触控操作和目标指令的的对应关系，本实施例中不一一列举，也不对本实施例构成限定。
进一步，实际应用中，为了增加触控的多样性，针对第一触控操作，可识别第一触控操作的操作面积外，还可识别第一触控操作的触控位置和手势方向中的至少一个，以实现更多的触控功能，例如，根据第一触控操作和第二触控操作，还可以确定用于触发菜单展示的目标指令，或者用于对象选定的目标指令。
步骤206，执行目标指令。
本公开实施例中，根据确定的目标指令，执行对应的目标指令。
而实际应用场景中，在执行目标指令的过程中，还可识别第一触控操作的操作面积、触控位置和手势方向中的一个或多个，以对目标指令执行结果进行调整，提高执行效果，其中，目标指令可用于触发菜单展示，或者是用于对象选定，下面采用不同的实施例分别进行说明。
在本公开实施例的一种实现方式中，目标指令用于触发菜单展示，根据第一触控操作的触控位置、触控面积和手势方向中的至少一个，调整菜单，对调整后的菜单进行展示。
图4为本公开实施例提供的一种菜单展示的示意图，如图4所示，图4中展示了两种菜单的展示方式，即(a)和(b)两种展示方式。以(b)菜单的展示方式为例，菜单以环形的方式围绕手指，针对不同场景，在触控的过程中，对菜单调整和展示的方式进行说明。
在第一种场景下，监测第一触控操作的触控位置，根据第一触控操作的触控位置的变化，调整菜单的位置，以使得菜单和执行第一触控操作的手指的相对位置关系不变，并对调整后的菜单进行展示。例如，手指往右侧移动，则菜单也随之往右侧移动，以保持环形菜单和手指的相对位置关系不变，避免手势变化时手指移动导致的对菜单的遮挡。
在第二种场景下，监测第一触控操作的触控面积，在第一触控操作的触控面积大于阈值，同时触控面积发生变化的情况下，根据触控面积变化，调整菜单的大小，例如，触控面积增加，则菜单展示的大小增加，触控面积减小，则菜单展示的大小缩小，以使得菜单大小适配触控面积。例如，监测到按压面积增大，则(b)中环形菜单的大小也按照设定的比例增加，以提高显示的效果。
在第三种场景下，监测第一触控操作的手势方向，当手势方向发生变化后，则菜单的方向也随之发生调整，以使得菜单和执行第一触控操作的手指间的相对位置关系不发生变化。例如，手指顺时针旋转，则(b)中的环形菜单也顺时针旋转，以保持和手指的相对位置关系不变，避免手势变化时手指移动导致的对菜单的遮挡。
在第四种场景下，还可以根据第一触控操作的触控位置、触控面积和手势方向中的至少一个，其中，触控位置、触控面积和手势方向可视为第一触控操作的变化因素，也就是根据第一触控操作变化的一个或多个变化因素，调整菜单，具体调整时可根据触控操作变化的因素，将上述三种场景下菜单的调整同时进行，避免菜单遮挡的情况发生，以提高菜单的显示效果。
在本公开实施例的第二种实现方式中，确定的目标指令用于对象选定，而在进行对象选定时，针对不同的场景，下面分别采用不同的技术方案进行说明。
作为一种实现方式，根据第一触控操作的触控面积和手势方向，确定目标位置，根据目标位置进行对象选定，例如，在输入法的应用场景下，相关技术中，通过是检测触控中心点，再确定距离中心点距离最大的点，进而，确定手势方向，例如手指指向的方向，根据手指指向的方向和最大点的位置，确定用户触控的位置，这种方式容易导致误识别。而本公开实施例中，通过识别用户触控的面积和手势方向，来确定用户触控的面积和手势方向对应的目标位置，根据目标位置选定对象，提高了对象选定的准确度。例如，用户手指按压在字母L上，也就是说字母L所占的触控面积较大，而字母L和字母O相邻，如果按照距离按压的中心点距离最大的边缘点位置和手势方向确定对象，可能误识别按压的对象是字母O。而本公开实施例中，按照第一触控操作的触控面积的大小和检测到的手势方向，可准确确定目标位置，根据目标位置，可准确确定选定的对象为字母L，即使此时距离触控中心点最大距离的点是落在字母O上，我们也认为用户想要输入字母L的概率更大一些，提高了触控场景下对象选定的准确性。
作为另一种实现方式，根据第一触控操作的触控位置和手势方向，确定目标位置，根据目标位置进行对象选定。
在一种场景下，用于确定距离第一触控操作的触控位置近处的对象，图5为本公开实施例提供的一种对象确定的示意图之一，图5中(a)图展示的是相关技术中，每次只选择和第一触控操作的触控位置距离最短的对象，即图5中(a)中的A指示的圆圈对应的对象。而本公开实施例中，将手势方向也考虑进去，例如手指的指向，在手指指向反方向上的点将会被排除，在手指指向上距离手指最短距离的对象将会被选中，即选中图5中(b)中B指示的对象，而不是选择距离最近的E指示的对象。作为一种实现方式，可根据手指的触控中心位置画圆形，按照设定的方位角度分别设定不同方向上的权重值，图5中(c)图展示的是不同方位角上的目标到达手指触控触控位置的权重值，其中，在0度角上，即和手指指向同向的目标角度方向有最小权重，其它角度方向上的权重增加，本公开中选择权重最小的目标角度方向上，同时距离第一触控操作的触控位置最小的对象。
在另一种场景下，用于确定距离第一触控操作的触控位置远处的对象，即远距离选择目标，如图6所示，右图中实心黑点是被选中的目标，白色点是没被选中的目标。在大屏幕触控场景下，例如，平板、笔记本电脑等大触控屏设备，可根据监测到的第一触控操作的手势方向，其中，监测到第一触控操作时，通过不断的监测第一触控操作的目标轮廓线中长轴的变化方向，确定手势方向，即第一触控操作对应的手指的指向，选择手指指向上的第一个目标，即距离最小的目标，即图6中(a)中的实心黑点，然后前后移动手指，但不改变手指的指向来切换目标，例如，手指向箭头方向移动，则选择距离手指更远的一个目标，例如图6中(b)中的实心黑点，此时，用户手指向内点击触控的时候，可以抓取选中的目标，即图6中(c)所示，抓取选中了图6中(b)中的实心黑点，例如，游戏场景中，可以用于抓取特定目标，以提高触控操作的便捷性。
步骤207，在第一触控操作停止的情况下，停止执行目标指令。
本公开实施例中，在监测到第一触控操作停止时，则停止执行目标指令。
本公开实施例的手势触控方法中，终端的操作系统监测手势触控操作，在第一触控操作的触控面积大于阈值的情况下，继续监测第二触控操作，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令，执行目标指令，实现了在不影响操作系统原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。同时，还可识别第一触控操作的操作面积、触控位置和手势方向中的一个或多个，以对目标指令执行结果进行调整，提高执行效果。
基于上述实施例，本实施例提供了一种实现方式，在监测得到第一触控操作和第二触控操作后，确定第一触控操作的触控面积大于阈值，可根据第一触控操作和第二触控操作识别人体设定部位的方位。如图7所示，确定监测到的第一触控操作的手势方向，以及第二触控操作的手势方向，对监测到的第一触控操作和第二触控操作的触控区域进行轮廓线拟合，得到第一触控操作的触控区域的第一目标轮廓线，和第二触控操作的触控区域的第二目标轮廓线，根据第一触控操作和第二触控操作的手势方向，以及第一目标轮廓线的长轴的延长线和第二目标轮廓线的长轴的延长线间的交点，可确定执行触控操作的人体的手掌的方位，以及人体的方位，如图a图所示，以便于进行界面的展示和变换。
作为一种实现方式，在一种场景下，例如，在游戏场景下，还可根据第一触控操作和第二触控操作的手势方向，以及第一目标轮廓线的长轴的延长线和第二目标轮廓线的长轴的延长线间的交点，确定执行触控操作的是一个用户还是多个用户，如图7中a-b图所示，以识别出当前参与游戏的用户是一个还是多个，以增加游戏的趣味性。
为了实现上述实施例，本公开还提出一种手势触控装置。
图8为本公开实施例提供的一种手势触控装置的结构示意图。
如图8所示，该装置包括：
监测模块71，用于监测得到第一触控操作以及第二触控操作，其中，所述第一触控操作的触控面积大于阈值。
第一确定模块72，用于根据所述第一触控操作和所述第二触控操作，从系统控制指令中确定对应的目标指令。
执行模块73，用于执行所述目标指令。
进一步，作为一种实现方式，该装置，还包括：
发送模块，用于在所述触控面积小于或等于所述阈值的情况下，向所述操作系统承载的应用程序发送指示消息，其中，所述指示消息用于指示所述应用程序执行所述第一触控操作和所述第二触控操作对应的应用控制指令。
作为一种实现方式，监测模块71，用于：
监测手势触控操作；在监测到所述第一触控操作的情况下，识别所述第一触控操作的触控面积；确定所述第一触控操作的触控面积大于所述阈值，则继续监测手势触控操作，以得到所述第二触控操作。
作为一种实现方式，所述第二触控操作处于触控状态时，所处第一触控操作处于触控状态。
作为一种实现方式，监测模块72，用于根据设定形状，对所述第一触控操作的触控区域进行轮廓线拟合，得到目标轮廓线；根据所述目标轮廓线内的面积，确定所述触控面积。
作为一种实现方式，所述目标轮廓线呈椭圆形；该装置，还包括：
第二确定模块，用于根据所述目标轮廓线包围区域的中心点，确定经过所述中心点的长轴和短轴的长度；根据所述长轴和所述短轴的长度，确定所述目标轮廓线内的面积。
作为一种实现方式，监测模块，还用于展示提示信息，其中，所述提示信息用于提示执行所述第二触控操作。
作为一种实现方式，该装置，还包括：
停止模块，用于在所述第一触控操作停止的情况下，停止执行所述目标指令。
作为一种实现方式，所述目标指令用于触发菜单展示；所述执行模块73，用于：
根据所述第一触控操作的触控位置、触控面积和手势方向中的至少一个，调整所述菜单；对调整后的菜单进行展示。
作为一种实现方式，所述目标指令用于对象选定，所述执行模块73，用于：
根据所述第一触控操作的触控面积和手势方向，确定目标位置；根据所述目标位置进行对象选定。
作为一种实现方式，所述目标指令用于对象选定，所述执行模块73，还用于：
根据所述第一触控操作的触控位置和手势方向，确定目标位置；根据所述目标位置进行对象选定。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，原理相同，此处不再赘述。
本公开实施例的手势触控装置中，终端的操作系统监测得到第一触控操作以及第二触控操作，在第一触控操作的触控面积大于阈值的情况下，根据第一触控操作和第二触控操作，从系统控制指令中确定对应的目标指令，执行目标指令，实现了在不影响操作系统原有触控功能的基础上，扩充了更多的快捷手势，提高触控操作的便捷性。
为了实现上述实施例，本公开实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述方法实施例所述的方法。
为了实现上述实施例，本公开实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，在所述计算机程序被处理器执行的情况下，实现如前述方法实施例所述的方法。
为了实现上述实施例，本公开实施例提出了一种计算机程序产品，当所述计算机程序产品中的计算机程序被处理器执行时，实现如前述方法实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (24)

1.一种手势触控方法，其特征在于，所述方法由终端的操作系统执行，包括以下步骤：
监测到第一触控操作以及第二触控操作；其中，所述第一触控操作的触控面积大于阈值；
根据所述第一触控操作和所述第二触控操作，从系统控制指令中确定对应的目标指令；
执行所述目标指令。
2.根据权利要求1所述的手势触控方法，其特征在于，所述监测到第一触控操作以及第二触控操作，包括：
在监测到所述第一触控操作的情况下，识别所述第一触控操作的触控面积；
如果确定所述第一触控操作的触控面积大于所述阈值，则继续监测手势触控操作，以得到所述第二触控操作。
3.根据权利要求1所述的手势触控方法，其特征在于，所述第二触控操作处于触控状态时，所处第一触控操作处于触控状态。
4.根据权利要求2所述的手势触控方法，其特征在于，所述识别所述第一触控操作的触控面积，包括：
根据设定形状，对所述第一触控操作的触控区域进行轮廓线拟合，得到目标轮廓线；
根据所述目标轮廓线内的面积，确定所述触控面积。
5.根据权利要求4所述的手势触控方法，其特征在于，所述目标轮廓线呈椭圆形；所述方法，还包括：
根据所述目标轮廓线包围区域的中心点，确定经过所述中心点的长轴的长度和短轴的长度；
根据所述长轴的长度和所述短轴的长度，确定所述目标轮廓线内的面积。
6.根据权利要求2所述的手势触控方法，其特征在于，所述确定所述第一触控操作的触控面积大于所述阈值之后，还包括：
展示提示信息，其中，所述提示信息用于提示执行所述第二触控操作。
7.根据权利要求1-5任一项所述的手势触控方法，其特征在于，所述方法，还包括：
在所述第一触控操作停止的情况下，停止执行所述目标指令。
8.根据权利要求1-5任一项所述的手势触控方法，其特征在于，所述目标指令用于触发菜单展示；所述执行所述目标指令，包括：
根据所述第一触控操作的触控位置、触控面积和手势方向中的至少一个，调整所述菜单；
对调整后的菜单进行展示。
9.根据权利要求1-5任一项所述的手势触控方法，其特征在于，所述目标指令用于对象选定；所述执行所述目标指令，包括：
根据所述第一触控操作的触控面积和手势方向，确定目标位置；
根据所述目标位置进行对象选定。
10.根据权利要求1-5任一项所述的手势触控方法，其特征在于，所述目标指令用于对象选定；所述执行所述目标指令，包括：
根据所述第一触控操作的触控位置和手势方向，确定目标位置；
根据所述目标位置进行对象选定。
11.根据权利要求1所述的手势触控方法，其特征在于，所述方法，还包括：
确定所述触控面积小于或等于所述阈值，则向所述操作系统承载的应用程序发送指示消息，其中，所述指示消息用于指示所述应用程序执行所述第一触控操作和所述第二触控操作对应的应用控制指令。
12.一种手势触控装置，其特征在于，包括：
监测模块，用于监测得到第一触控操作以及第二触控操作；其中，所述第一触控操作的触控面积大于阈值；
第一确定模块，用于根据所述第一触控操作和所述第二触控操作，从系统控制指令中确定对应的目标指令；
执行模块，用于执行所述目标指令。
13.根据权利要求12所述的手势触控装置，其特征在于，所述监测模块，用于：
在监测到所述第一触控操作的情况下，识别所述第一触控操作的触控面积；确定所述第一触控操作的触控面积大于所述阈值，则继续监测手势触控操作，以得到所述第二触控操作。
14.根据权利要求12所述的手势触控装置，其特征在于，所述第二触控操作处于触控状态时，所处第一触控操作处于触控状态。
15.根据权利要求13所述的手势触控装置，其特征在于，所述监测模块，用于：
根据设定形状，对所述第一触控操作的触控区域进行轮廓线拟合，得到目标轮廓线；
根据所述目标轮廓线内的面积，确定所述触控面积。
16.根据权利要求14所述的手势触控装置，其特征在于，所述目标轮廓线呈椭圆形；所述装置，还包括：
第二确定模块，用于根据所述目标轮廓线包围区域的中心点，确定经过所述中心点的长轴和短轴的长度；根据所述长轴和所述短轴的长度，确定所述目标轮廓线内的面积。
17.根据权利要求13所述的手势触控装置，其特征在于，
所述监测模块，还用于展示提示信息，其中，所述提示信息用于提示执行所述第二触控操作。
18.根据权利要求12-16任一项所述的手势触控装置，其特征在于，所述装置，还包括：
停止模块，用于在所述第一触控操作停止的情况下，停止执行所述目标指令。
19.根据权利要求12-16任一项所述的手势触控装置，其特征在于，所述目标指令用于触发菜单展示；所述执行模块，用于：
根据所述第一触控操作的触控位置、触控面积和手势方向中的至少一个，调整所述菜单；
对调整后的菜单进行展示。
20.根据权利要求12-16任一项所述的手势触控装置，其特征在于，所述目标指令用于对象选定；所述执行模块，还用于：
根据所述第一触控操作的触控面积和手势方向，确定目标位置；
根据所述目标位置进行对象选定。
21.根据权利要求12-16任一项所述的手势触控装置，其特征在于，所述目标指令用于对象选定；所述执行模块，还用于：根据所述第一触控操作的触控位置和手势方向，确定目标位置；
根据所述目标位置进行对象选定。
22.根据权利要求12所述的手势触控装置，其特征在于，所述装置，还包括：
发送模块，用于在所述触控面积小于或等于所述阈值的情况下，向所述操作系统承载的应用程序发送指示消息，其中，所述指示消息用于指示所述应用程序执行所述第一触控操作和所述第二触控操作对应的应用控制指令。
23.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-11中任一所述的方法。
24.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，在所述计算机程序被处理器执行的情况下，实现如权利要求1-11中任一所述的方法。
CN202110949494.8A 2021-08-18 2021-08-18 手势触控方法、装置、电子设备和存储介质 Active CN113778313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949494.8A CN113778313B (zh) 2021-08-18 2021-08-18 手势触控方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949494.8A CN113778313B (zh) 2021-08-18 2021-08-18 手势触控方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113778313A true CN113778313A (zh) 2021-12-10
CN113778313B CN113778313B (zh) 2025-01-21

Family

ID=78838047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949494.8A Active CN113778313B (zh) 2021-08-18 2021-08-18 手势触控方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113778313B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368444A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Disambiguation of indirect input
CN104407802A (zh) * 2014-11-06 2015-03-11 深圳市华星光电技术有限公司 一种多事件输入的方法和终端
CN105446520A (zh) * 2014-09-30 2016-03-30 南京瀚宇彩欣科技有限责任公司 无挡单手多指触控的手持式电子装置及其触控外盖
CN105867679A (zh) * 2016-03-23 2016-08-17 宇龙计算机通信科技(深圳)有限公司 触控控制方法、触控控制装置和终端
CN106126049A (zh) * 2016-06-22 2016-11-16 宇龙计算机通信科技(深圳)有限公司 菜单操作方法及系统
CN106445378A (zh) * 2016-09-12 2017-02-22 青岛海信电器股份有限公司 触控菜单显示控制方法、装置及触控显示设备
CN107704189A (zh) * 2017-10-27 2018-02-16 努比亚技术有限公司 一种控制终端的方法、终端及计算机可读存储介质
CN108132721A (zh) * 2017-12-22 2018-06-08 联想(北京)有限公司 生成拖动手势的方法、触控装置以及便携式电子设备
CN109542303A (zh) * 2018-11-02 2019-03-29 北京硬壳科技有限公司 触控设备及其响应方法、装置
CN112000259A (zh) * 2020-06-30 2020-11-27 深圳点猫科技有限公司 一种基于移动终端触摸事件控制摄像头的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368444A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Disambiguation of indirect input
CN105446520A (zh) * 2014-09-30 2016-03-30 南京瀚宇彩欣科技有限责任公司 无挡单手多指触控的手持式电子装置及其触控外盖
CN104407802A (zh) * 2014-11-06 2015-03-11 深圳市华星光电技术有限公司 一种多事件输入的方法和终端
CN105867679A (zh) * 2016-03-23 2016-08-17 宇龙计算机通信科技(深圳)有限公司 触控控制方法、触控控制装置和终端
WO2017161637A1 (zh) * 2016-03-23 2017-09-28 宇龙计算机通信科技(深圳)有限公司 触控控制方法、触控控制装置和终端
CN106126049A (zh) * 2016-06-22 2016-11-16 宇龙计算机通信科技(深圳)有限公司 菜单操作方法及系统
CN106445378A (zh) * 2016-09-12 2017-02-22 青岛海信电器股份有限公司 触控菜单显示控制方法、装置及触控显示设备
CN107704189A (zh) * 2017-10-27 2018-02-16 努比亚技术有限公司 一种控制终端的方法、终端及计算机可读存储介质
CN108132721A (zh) * 2017-12-22 2018-06-08 联想(北京)有限公司 生成拖动手势的方法、触控装置以及便携式电子设备
CN109542303A (zh) * 2018-11-02 2019-03-29 北京硬壳科技有限公司 触控设备及其响应方法、装置
CN112000259A (zh) * 2020-06-30 2020-11-27 深圳点猫科技有限公司 一种基于移动终端触摸事件控制摄像头的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARAGASSO, A: "Versatile Vision-based Touch Sensor for Autonomous Robots", 《2017 14TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI)》, 28 December 2018 (2018-12-28) *
刘森;周祖微;王忆文;李辉;: "基于USB HID的电子白板的多点触控技术开发", 计算机应用与软件, no. 08, 15 August 2013 (2013-08-15) *

Also Published As

Publication number Publication date
CN113778313B (zh) 2025-01-21

Similar Documents

Publication Publication Date Title
US11163426B2 (en) Interaction position determination method and system, storage medium and smart terminal
CN109062479B (zh) 分屏应用切换方法、装置、存储介质和电子设备
US8508494B2 (en) Using pressure differences with a touch-sensitive display screen
JP4790847B2 (ja) タッチ・スクリーン操作インターフェース
US7605804B2 (en) System and method for fine cursor positioning using a low resolution imaging touch screen
US11132121B2 (en) Method, apparatus, storage medium, and electronic device of processing split screen display
EP3683666B1 (en) Floating action button display method and terminal device
US20120026105A1 (en) Electronic device and method thereof for transmitting data
US20120306766A1 (en) Using pressure differences with a touch-sensitive display screen
CN106909289B (zh) 一种应用控件的操作方法及移动终端
EP2613247B1 (en) Method and apparatus for displaying a keypad on a terminal having a touch screen
US20120299852A1 (en) Computer system with touch screen and gesture processing method thereof
CN103869947B (zh) 控制电子设备的方法及电子设备
US11989352B2 (en) Method display device and medium with laser emission device and operations that meet rules of common touch
US10691324B2 (en) Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
US9389781B2 (en) Information processing apparatus, method for controlling same, and recording medium
CN107450820B (zh) 界面控制方法及移动终端
CN112218134B (zh) 一种输入方法以及相关设备
US20190339858A1 (en) Method and apparatus for adjusting virtual key of mobile terminal
CN104808936A (zh) 界面操作方法与应用该方法的便携式电子装置
CN106325663A (zh) 移动终端及其截屏方法
US20180052598A1 (en) Multi-touch based drawing input method and apparatus
US20210232292A1 (en) System and method for a zoom function
US20180210597A1 (en) Information processing device, information processing method, and program
US20150346947A1 (en) Feedback in touchless user interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant