CN110941389A - 一种焦点触发ar信息点的方法及装置 - Google Patents

Abstract

本申请提供了一种焦点触发AR信息点的方法及装置，涉及AR信息处理技术领域。所述方法包括：在终端屏幕上预先选取一个焦点触发区域；在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。本申请实现了对AR目标信息点进行信息分层展示以及无触屏选择的智能点选途径，能够使用户更方便灵活的对当前AR目标信息点进行控制，提高了用户体验。

Description

一种焦点触发AR信息点的方法及装置

技术领域

本申请属于AR信息处理技术领域，特别涉及一种焦点触发AR信息点的方法及装置。

背景技术

增强现实(Augmented Reality，简称AR)，也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

增强现实系统正常工作所需的三个组件分别是显示器、跟踪系统以及移动计算能力，上述组件所形成的AR设备可以是眼镜、头戴式设备或者手机、平板终端设备。

对应采用手机作为AR设备的手机用户在使用手机APP进行寻找、识别AR信息点的时候，需要对寻找到的目标点进行点击选取，从而打开该AR信息点所包含的信息内容或打开对AR信息点进行操作的辅助信息内容。点击方法一般由手指，或数字触控笔、亦或由鼠标装置点击触发。

然而在AR场景的使用中，上述点击方法不仅需要占用额外一只手或手指的外力触屏配合，对于所选择的信息点只能显示由于该触发而打开的详细内容信息，例如通过触发信息点，打开由该信息点链接的具体内容，这样的触发方法不支持对于AR信息点的层次化展示，即没有显示对信息点的附加操作信息。

发明内容

为了解决上述技术问题至少之一，本申请提供了一种焦点触发AR信息点的方法及装置，通过焦点触发区域作为选择工具，用其在屏幕中选择已被显示的AR信息点，若信息点被焦点触发区域对焦，则该信息点将被自动触发，并且生成、显示被预设的附加功能或其它介于信息点与详细内容信息之间的中间层内容信息。

本申请的第一个方面，一种焦点触发AR信息点的方法，包括：在终端屏幕上预先选取一个焦点触发区域；在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

优选的是，所述在终端屏幕上预先选取一个焦点触发区域包括：根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

优选的是，所述在终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，形成一条或多条隐形射线。

优选的是，所述显示用于对AR图形进行操作的二级控件按钮的同时，还包括：使所述终端进行振动。

本申请第二方面提供了一种焦点触发AR信息点的装置，包括：焦点触发区域选取模块，用于在终端屏幕上预先选取一个焦点触发区域；隐形射线生成模块，用于在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；辅助信息显示模块，用于判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

优选的是，所述焦点触发区域选取模块包括：单焦点触发区域生成单元，用于根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者多焦点触发区域生成单元，用于根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

优选的是，所述隐形射线生成模块包括：像素点选取单元，用于当终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，以形成一条或多条隐形射线。

优选的是，还包括振动模块，用于在显示用于对AR图形进行操作的二级控件按钮的同时，使所述终端进行振动。

本申请的第三方面，一种终端设备，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序用于实现如上任一项所述的焦点触发AR信息点的方法。

本申请的第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的焦点触发AR信息点的方法。

本申请实现了对AR目标信息点进行信息分层展示以及无触屏选择的智能点选途径，能够使用户更方便灵活的对当前AR目标信息点进行控制，提高了用户体验。

附图说明

图1是本申请焦点触发AR信息点的方法的流程图。

图2是本申请图1所示实施例的在环境中检测到AR信息点的示意图。

图3是本申请图1所示实施例的对焦AR信息点的示意图。

图4是本申请图1所示实施例的焦点自动触发AR信息点的示意图。

图5是本申请焦点触发AR信息点的装置的框架图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。下面结合附图对本申请的实施方式进行详细说明。

根据本申请第一方面，一种焦点触发AR信息点的方法，如图1所示，主要包括：

步骤S1、在终端屏幕上预先选取一个焦点触发区域；

步骤S2、在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；

步骤S3、判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

在一些可选实施方式中，所述在终端屏幕上预先选取一个焦点触发区域包括：根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

需要说明的是，本申请在步骤S1之前，首先开启智能移动设备(如手机)端的手机应用程序(APP)；其次开启图像采集装置(如手机摄像头或后台设置的其他采集方式)，此时该智能移动设备(如手机)端相应操作系统中的开源AR软件包被自动触发，从而在APP中启动AR初始化场景。

初始化主要包括通过App获取手机陀螺仪数据和GPS数据，根据陀螺仪和GPS数据，以x轴指向东，y轴指向重力反方向，z轴指向南建立一个AR三维场景。初始化完成后，以启动时设备位置为(0，0，0)点，手机终端屏幕内的场景将映射出所有预置的导视点信息，并以AR信息点的形式呈现在屏幕中，如图2所示的位于右上角的一个Starbucks图标。

步骤S1中，在终端屏幕上预先选取一个焦点触发区域一般由用户指定，例如可以在屏幕中间位置设置一个焦点选取框作为焦点触发区域，也可以在屏幕左上角、右上角、左下角、右下角、或其它任意位置处设定该焦点触发区域，如果用户没有自定义设置，通常由系统根据预置的参数在屏幕中间位置自动生成。

可以理解的是，由用户进行焦点触发区域指定时，其步骤主要包括：

步骤S11、AR场景初始化完成后，弹出一焦点选取框生成按钮，包括手动生成焦点选取框或系统自动生成焦点选取框两个候选按键；

步骤S12、当用户点击手动生成焦点选取框时，系统开始对触屏进行监控，获取用户在屏幕上框选的封闭图形边界，记录相应的屏幕坐标点，如果监控到用户只对屏幕进行了点击，则被点击的位置所对应的像素点作为焦点选取框。可以理解的是，单一像素点作为焦点选取框是指以该像素点为原点，以两个相邻像素点为半径的圆作为焦点选取框。

需要说明的是，焦点选取框为虚拟框，在步骤S2中所用到的实际上为焦点选取框内的像素点，因此，对于单一像素点作为焦点选取框的实施例中，该单一像素点在步骤S2中形成隐形射线，而对于用户框选的具有多个像素点的焦点选取框，其内的像素点均可以在步骤S2中形成隐形射线。在一些可选实施方式中，所述在终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，形成一条或多条隐形射线。

步骤S3中，判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，图2中，一级AR图形位于屏幕右上角，而焦点选取框位于屏幕中间，两者明显不相交，判断过程可以基于图像处理技术，也可以根据屏幕坐标点直接判断，例如根据AR技术，很容易确定图2中一级AR图形在屏幕中的坐标区域范围，同理，根据步骤S1确定了焦点选取框的在屏幕中的坐标区域范围，由此能够确定两者是否存在重叠区域，进而能够确定预设的焦点隐形射线是否穿过一级AR图形。

如图3所示，移动屏幕使得一级AR图形进入焦点选取框(部分进入或完全进入，由焦点选取框内所选的像素点确定，若仅选择焦点选取框的中心点产生隐形射线，则一级AR图形的左下角部分至少要移动到焦点选取框中心，若选择焦点选取框的左下角的像素点产生隐形射线，则图2至图3的变化过程中，一级AR图形应当完全进入焦点选取框)，此时系统判断出所述隐形射线与屏幕显示的AR场景中的一级AR图形相交，如图4所示，弹出相应的二级控件按钮。

二级控件按钮例如可以是对一级AR图形的进一步操作或者简要说明，进一步操作例如可以是屏蔽该AR图形的信息点、对AR图形所展示的信息点的点赞/保存操作、与AR图形关联的商家进行通讯等等。

在一些可选实施方式中，所述显示用于对AR图形进行操作的二级控件按钮的同时，还包括：使所述终端进行振动。

本申请第二方面提供了一种与上述方法相对应的焦点触发AR信息点的装置，如图5所示，主要包括：

焦点触发区域选取模块，用于在终端屏幕上预先选取一个焦点触发区域；

隐形射线生成模块，用于在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；

辅助信息显示模块，用于判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

在一些可选实施方式中，所述焦点触发区域选取模块包括：单焦点触发区域生成单元，用于根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者多焦点触发区域生成单元，用于根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

在一些可选实施方式中，所述隐形射线生成模块包括：像素点选取单元，用于当终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，以形成一条或多条隐形射线。

在一些可选实施方式中，还包括振动模块，用于在显示用于对AR图形进行操作的二级控件按钮的同时，使所述终端进行振动。

本申请第三方面，一种终端设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序用于实现焦点触发AR信息点的方法。

本申请第四方面，一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的焦点触发AR信息点的方法。该计算机可读存储介质可以是上述实施方式中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时按上述方法对数据进行处理。

适于用来实现本申请实施方式的终端设备，例如手机等移动设备，其包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括触屏、按键、扫描/摄像等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。

特别地，根据本申请的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施方式中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或单元也可以设置在处理器中，这些模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种焦点触发AR信息点的方法，其特征在于，包括：

在终端屏幕上预先选取一个焦点触发区域；

在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；

判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

2.如权利要求1所述的焦点触发AR信息点的方法，其特征在于，所述在终端屏幕上预先选取一个焦点触发区域包括：

根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者

根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

3.如权利要求2所述的焦点触发AR信息点的方法，其特征在于，所述在终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，形成一条或多条隐形射线。

4.如权利要求1所述的焦点触发AR信息点的方法，其特征在于，所述显示用于对AR图形进行操作的二级控件按钮的同时，还包括：

使所述终端进行振动。

5.一种焦点触发AR信息点的装置，其特征在于，包括：

焦点触发区域选取模块，用于在终端屏幕上预先选取一个焦点触发区域；

隐形射线生成模块，用于在由屏幕显示的AR场景中，以所述焦点触发区域内的像素点为起点，以垂直于屏幕的方向形成隐形射线；

辅助信息显示模块，用于判断所述隐形射线是否与屏幕显示的AR场景中的一级AR图形相交，若两者相交或移动屏幕使两者相交，则显示用于对AR图形进行操作的二级控件按钮。

6.如权利要求5所述的焦点触发AR信息点的装置，其特征在于，所述焦点触发区域选取模块包括：

单焦点触发区域生成单元，用于根据用户点击的屏幕点，将该屏幕点对应的一个像素点作为焦点触发区域，或者

多焦点触发区域生成单元，用于根据用户在屏幕上框选的封闭图形，将该封闭图形对应的区域作为焦点触发区域。

7.如权利要求6所述的焦点触发AR信息点的装置，其特征在于，所述隐形射线生成模块包括：

像素点选取单元，用于当终端屏幕上预选的焦点触发区域为封闭图形时，选取所述封闭图形内的一个或多个像素点，以形成一条或多条隐形射线。

8.如权利要求5所述的焦点触发AR信息点的装置，其特征在于，还包括振动模块，用于在显示用于对AR图形进行操作的二级控件按钮的同时，使所述终端进行振动。

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序用于实现如权利要求1-4任一项所述的焦点触发AR信息点的方法。

10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时用于实现如权利要求1-4任一项所述的焦点触发AR信息点的方法。

Images